[논문 리뷰] On Baselines for Local Feature Attributions

Johannes Haug, Stefan Zürn외 2명|arXiv (Cornell University)|2021. 01. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 16

한 줄 요약

이 논문은 표본 데이터에 대한 국소적 특성 기여도 분석을 위한 기준값 방법에 대한 새로운 분류 체계를 제안하고, 그 기여도 품질에 미치는 영향을 실증적으로 평가한다. 기준값 선택이 기여도의 분류 성능에 상당한 영향을 미치며, 기대값, 가우시안, 상수, 블러 기준값이 뛰어난 성능을 보였고, 균일 및 최대 거리 기준값은 데이터 분포와의 정렬이 열악하여 종종 성능이 열 劣하다고 나타났다.

ABSTRACT

High-performing predictive models, such as neural nets, usually operate as black boxes, which raises serious concerns about their interpretability. Local feature attribution methods help to explain black box models and are therefore a powerful tool for assessing the reliability and fairness of predictions. To this end, most attribution models compare the importance of input features with a reference value, often called baseline. Recent studies show that the baseline can heavily impact the quality of feature attributions. Yet, we frequently find simplistic baselines, such as the zero vector, in practice. In this paper, we show empirically that baselines can significantly alter the discriminative power of feature attributions. We conduct our analysis on tabular data sets, thus complementing recent works on image data. Besides, we propose a new taxonomy of baseline methods. Our experimental study illustrates the sensitivity of popular attribution models to the baseline, thus laying the foundation for a more in-depth discussion on sensible baseline methods for tabular data.

연구 동기 및 목표

• 국소적 특성 기여도 분석에서 기준값 방법을 체계적으로 분류하는 표준화된 프레임워크가 부족한 문제를 해결하기 위해.
• 다양한 기준값 방법이 표본 데이터의 특성 기여도의 분류 성능에 어떻게 영향을 미치는지 실증적으로 평가하기 위해.
• 다양한 기여도 모델을 기반으로 성능을 비교함으로써 표본 데이터에 가장 적합한 기준값 방법을 특정하기 위해.
• 실무 및 향후 연구에서 기준값을 체계적으로 선택할 수 있도록 원칙적인 참조 자료를 제공하기 위해.

제안 방법

• 정적/동적 및 결정론적/스토케스틱 성질을 기반으로 이원적 분류 체계를 제안한다.
• 기존의 기준값 방법들 — 예를 들어 상수, 기대값, 가우시안, 균일, 최대 거리, 블러, 중립 — 을 제안된 분류 체계에 분류한다.
• LIME, KernelSHAP, DeepLIFT, Grad-CAM와 같은 최첨단 기여도 모델 4종을 활용하여 다양한 기준값을 사용해 특성 기여도를 생성한다.
• 다양한 표본 데이터셋(예: Communities, HAR, Fraud Detection)에서 분류 성능를 측정하기 위해 부가 실험(ablation tests)를 수행한다.
• 기여도 품질의 상대적 수준을 평가하기 위해 무작위 기준값을 성능 기준점으로 활용한다.
• 클래스 불균형 및 특성 유형(예: PCA 변환된 특성) 등 다양한 특성을 가진 데이터셋 간의 결과를 분석한다.

실험 결과

연구 질문

• RQ1 다양한 기준값 방법이 표본 데이터에서 국소적 특성 기여도의 분류 성능에 어떻게 영향을 미치는가?
• RQ2 어떤 기준값 방법이 다양한 표본 데이터셋에서 일관되게 더 신뢰할 수 있고 정보가 풍부한 기여도를 생성하는가?
• RQ3 기준값 선택이 모델 예측의 해석 가능성과 공정성에 얼마나 큰 영향을 미치는가?
• RQ4 기준값 방법에 대한 체계적인 분류 체계는 실무에서 기준값을 체계적으로 선택하는 데 도움이 될 수 있는가?

주요 결과

• 기대값 기준값은 기여도의 분류 성능이 항상 뛰어났으며, 훈련 데이터의 특성별 평균을 계산함으로써 데이터 생성 분포에 가까이 근접하기 때문이다.
• 가우시안 기준값도 뛰어난 성능을 보였는데, 이는 특성의 중심 경향성을 잘 모델링할 수 있기 때문일 것으로 보인다. 특히 데이터가 정규 분포를 따를 경우 더욱 유리하다.
• 상수 기준값과 블러 기준값은 거의 동일한 성능을 보였으며, 이는 블러링이 특성의 분산을 거의 일정 수준으로 낮추기 때문에 실질적으로 유사한 기능을 한다는 것을 시사한다.
• 균일 및 최대 거리 기준값은 일반적으로 성능이 열 劣했으며, 종종 무작위 기준값보다도 열 劣하는 경향이 있었다. 이는 데이터 분포와의 정렬이 열악하고, 이상치 수준의 값을 생성할 수 있기 때문이다.
• 매우 불균형한 Fraud Detection 데이터셋에서는 모든 기준값이 유사한 성능을 보였는데, 이는 특성 공학 과정에서 분류에 기여하는 주성분이 제거되어 전체 신호가 약화되었기 때문일 수 있다.
• KernelSHAP의 성능은 차원 수가 증가함에 따라 저하되었으며, 이는 알려진 계산적 한계를 확인한 것이다. 그러나 충분한 샘플이 확보된 경우 이론적으로 최적의 성능을 유지했다.