[논문 리뷰] On Formal Feature Attribution and Its Approximation

Jinqiang Yu, Alexey Ignatiev외 1명|arXiv (Cornell University)|2023. 07. 07.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 특성 중요도를 추론 가능한 설명에서 해당 특성이 나타나는 비율로 정의함으로써 공리적 타당성을 보장하는 새로운 방법인 공식적 특성 기여도(FFA)를 소개한다. 이는 보편적인 추론 기반 설명 열거를 이용한 효율적 근사 기법을 제안하여, 표본화된 데이터셋과 이미지 데이터셋에서 LIME 및 SHAP보다 정밀도, 켄달의 타우, RBO 지표에서 뛰어난 성능을 보였다. 이는 실제 소프트웨어 결함 예측 문제에도 적용되었다.

ABSTRACT

Recent years have witnessed the widespread use of artificial intelligence (AI) algorithms and machine learning (ML) models. Despite their tremendous success, a number of vital problems like ML model brittleness, their fairness, and the lack of interpretability warrant the need for the active developments in explainable artificial intelligence (XAI) and formal ML model verification. The two major lines of work in XAI include feature selection methods, e.g. Anchors, and feature attribution techniques, e.g. LIME and SHAP. Despite their promise, most of the existing feature selection and attribution approaches are susceptible to a range of critical issues, including explanation unsoundness and out-of-distribution sampling. A recent formal approach to XAI (FXAI) although serving as an alternative to the above and free of these issues suffers from a few other limitations. For instance and besides the scalability limitation, the formal approach is unable to tackle the feature attribution problem. Additionally, a formal explanation despite being formally sound is typically quite large, which hampers its applicability in practical settings. Motivated by the above, this paper proposes a way to apply the apparatus of formal XAI to the case of feature attribution based on formal explanation enumeration. Formal feature attribution (FFA) is argued to be advantageous over the existing methods, both formal and non-formal. Given the practical complexity of the problem, the paper then proposes an efficient technique for approximating exact FFA. Finally, it offers experimental evidence of the effectiveness of the proposed approximate FFA in comparison to the existing feature attribution algorithms not only in terms of feature importance and but also in terms of their relative order.

연구 동기 및 목표

• LIME 및 SHAP와 같은 히우리스틱 특성 기여도 방법의 한계를 해결하기 위해, 이는 타당성 결여와 분포 외 샘플링 문제를 야기한다.
• 주어진 예측에 대해 특정 특성이 포함된 추론 가능한 설명의 비율로 특성 기여도를 공리적으로 정의함으로써 논리적 타당성을 보장한다.
• 다항계층의 두 번째 수준에서 계산 복잡도가 높기 때문에, FFA에 대한 효율적 근사 기법을 개발한다.
• 특성 기여도 정확도 및 상대적 특성 순서 정렬 측면에서 기존 방법과의 성능을 평가한다.

제안 방법

• FFA는 주어진 예측에 대해 특정 특성을 포함한 추론 가능한 설명의 수를 총 추론 가능한 설명 수로 나눈 비율로 공식적으로 정의된다.
• 이 방법은 특히 부스팅 트리 모델을 포함한 기계학습 모델의 일阶논리 표현을 통한 공식적 설명 열거를 활용한다.
• 임의 시간 추론 알고리즘을 사용하여 점진적으로 추론 가능한 설명을 생성함으로써 실시간으로 FFA를 근사한다.
• 수집된 설명의 수가 증가함에 따라 FFA 값이 업데이트되며, 수렴 여부를 모니터링한다.
• 이 방법은 표본화된 데이터 및 이미지 데이터 모두에 적용되었으며, 특히 로지스틱 회귀 모델을 사용한 실제 소프트웨어 결함 예측 문제에 적용되었다.
• 평가에는 표준 지표인 오차, 켄달의 타우, 순서 기반 중첩(RBO)을 사용하였으며, FFA를 LIME 및 SHAP와 비교하였다.

실험 결과

연구 질문

• RQ1 공식적 특성 기여도(FFA)는 기계학습 모델에서 특성 중요도를 원칙적이고 논리적으로 타당한 측정법으로 정의될 수 있는가?
• RQ2 정밀도 및 순서 정확도 측면에서 FFA 근사치는 LIME 및 SHAP와 같은 히우리스틱 방법보다 어떻게 성능을 냈는가?
• RQ3 FFA 근사치는 정확한 FFA 값으로 신속하게 수렴하는가? 이는 다양한 데이터셋과 모델 유형에 따라 어떻게 달라지는가?
• RQ4 LIME 및 SHAP는 공식 기여도 기준과 얼마나 벗어나 있으며, 어떤 방식으로 기여도가 다를까?

주요 결과

• 이미지 데이터셋에서 FFA 근사치는 단 10초의 계산 후 LIME 및 SHAP보다 더 낮은 오차, 더 높은 켄달의 타우 및 RBO 점수를 기록하였다.
• PneumoniaMNIST 데이터셋에서 FFA 근사치는 10초 후 0.83의 RBO 및 0.66의 켄달의 타우를 달성하여 LIME 및 SHAP를 모두 능가하였다.
• OpenStack 및 Qt 데이터셋에서의 즉각적 결함 예측 문제에서 FFA는 LIME 및 SHAP보다 공식 설명과 훨씬 더 잘 일치했으며, 오차는 낮고 특성 순서 정합성은 높았다.
• 연구에서 LIME 및 SHAP는 많은 공식 설명에 등장하는 특성에 대해 종종 0의 가중치를 할당하는 경향이 있어, 공식 측정 기준과 근본적인 불일치를 보였다.
• FFA 근사 과정은 매우 신속하게 수렴하였으며, 몇 분 내로 고품질 결과를 확보할 수 있었고, 이는 이론적 복잡성에도 불구하고 실용적 타당성을 시사했다.
• 논문은 히우리스틱 방법인 LIME 및 SHAP가 공식 기여도 기준과 일치하지 않음을 입증하였으며, 때로는 관련 없는 특성에 비-zero 가중치를 할당하거나 중요한 특성을 누락하는 경향이 있었다.