[논문 리뷰] BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial Intelligence

Isha Hameed, Samuel Sharpe외 6명|arXiv (Cornell University)|2022. 07. 12.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 표본 데이터에 대한 설명 가능한 인공지능(XAI)에서 추론 분석(ablation study)을 위한 철저한 프레임워크를 제안하며, 적절한 변형 선택, 범주형 특성 처리, 그리고 오해를 방지하기 위한 가이드레일을 강조한다. 이는 단순한 변형이 추론 곡선을 왜곡할 수 있으며, 원래 형태로 복원된 one-hot 인코딩된 범주형 특성을 통합할 경우 XAI 평가의 타당성과 해석 가능성이 향상됨을 보여준다.

ABSTRACT

Explainable artificial intelligence (XAI) methods lack ground truth. In its place, method developers have relied on axioms to determine desirable properties for their explanations' behavior. For high stakes uses of machine learning that require explainability, it is not sufficient to rely on axioms as the implementation, or its usage, can fail to live up to the ideal. As a result, there exists active research on validating the performance of XAI methods. The need for validation is especially magnified in domains with a reliance on XAI. A procedure frequently used to assess their utility, and to some extent their fidelity, is an ablation study. By perturbing the input variables in rank order of importance, the goal is to assess the sensitivity of the model's performance. Perturbing important variables should correlate with larger decreases in measures of model capability than perturbing less important features. While the intent is clear, the actual implementation details have not been studied rigorously for tabular data. Using five datasets, three XAI methods, four baselines, and three perturbations, we aim to show 1) how varying perturbations and adding simple guardrails can help to avoid potentially flawed conclusions, 2) how treatment of categorical variables is an important consideration in both post-hoc explainability and ablation studies, and 3) how to identify useful baselines for XAI methods and viable perturbations for ablation studies.

연구 동기 및 목표

• XAI 평가에서 기준이 되는 진실값의 부재와 잘못 설계된 추론 분석으로 인한 오류 결론의 위험을 해결하기 위해.
• 적절히 일치하지 않은 변형 방법과 기준 분포가 XAI 평가에 혼동을 야기하는 방식을 조사하기 위해.
• 특히 레이블 인코딩을 사용하는 것과 one-hot 인코딩을 사용하는 것의 차이가 추론 분석의 타당성에 미치는 결정적 영향을 부각하기 위해.
• 추론 곡선의 오해를 방지하기 위한 사전 검사 역할을 하는 실용적인 가이드레일을 제안하기 위해.
• 표본 기계학습에서 강력한 XAI 검증을 위해 적절한 기준과 변형을 선택하는 데 연구자들을 안내하기 위해.

제안 방법

• 저자는 세 가지 XAI 방법(Deep SHAP, Integrated Gradients, KernelSHAP)과 네 가지 기준 분포를 사용하여 다섯 개인 표본 데이터셋에서 추론 분석을 수행한다.
• 세 가지 변형 전략(랜덤, 일정 중앙값, 최대 거리)을 비교하여 추론 곡선의 형태와 해석에 미치는 영향을 평가한다.
• 범주형 특성을 one-hot 인코딩 및 레이블 인코딩 형태로 모두 처리하여 특성 순위와 변형 타당성에 미치는 영향을 평가한다.
• 세 가지 가이드레일을 도입한다: (1) 추론 범위를 내부 샘플 입력으로 제한하는 수직 가이드레일, (2) 전체 추론 상태에서의 모델 성능을 평가하는 수평 가이드레일, (3) 부도덕한 기여 패턴을 탐지하기 위한 랜덤 특성 가이드레일.
• 국소적 및 전역적 설명을 비교하여 전역 추론 곡선은 국소적 곡선을 부드럽게 만들지만, 가이드레일이 적용된 경우 둘 다 일관된 경향을 보임을 보여준다.
• 모델 성능(예: 정확도, AUC)을 사용하여 특성 변형에 대한 민감도를 평가하고, 추론 단계 전반에 걸쳐 변화를 추적한다.

실험 결과

연구 질문

• RQ1 다양한 변형 방법이 XAI 평가에서 추론 곡선의 형태와 해석 가능성에 어떤 영향을 미치는가?
• RQ2 범주형 특성의 표현 방식(One-hot 대비 레이블 인코딩)이 추론 분석 결과에 어느 정도의 영향을 미치는가?
• RQ3 가이드레일이 외부 분포의 변형을 효과적으로 식별하고 제거하여 XAI 평가의 왜곡을 방지하는 데 유용한가?
• RQ4 국소적 및 전역적 설명 간의 추론 곡선 행동은 어떻게 비교되며, 집계는 강건성을 향상시키는가?
• RQ5 다양한 XAI 방법(예: 기울기 기반 대비 커널 기반)이 동일한 변형 및 기준 조건 하에서 어떻게 성능을 내는가?

주요 결과

• 학습 데이터 분포를 벗어나는 변형, 예를 들어 최대 거리 방법은 고급 설명조차도 성능 급락을 초래할 수 있으며, 이는 잘못된 해석을 유도할 수 있다.
• 범주형 특성을 one-hot 인코딩된 형태로 변형할 경우 희박성과 오해의 기여도 순위가 발생하지만, 원래의 레이블 인코딩 형태로 복원하면 추론 분석의 타당성이 향상된다.
• 수직 가이드레일은 추론 범위를 내부 샘플 입력으로 제한하여 관련 영역을 압축하고, 특히 고차원 데이터셋에서 해석 가능성을 향상시킨다.
• 전역 설명에서 유도된 추론 곡선은 국소 곡선보다 더 부드럽고 왼쪽으로 이동하지만, 가이드레일이 적용된 경우 둘 다 유사한 경향을 보인다.
• KernelSHAP는 Adult 및 HAR 데이터셋에서 기울기 기반 방법(Depth SHAP, Integrated Gradients)과 상당한 차이를 보이며, 이는 고차원 환경에서 기준 샘플 수가 부족하기 때문일 가능성이 높다.
• XAI 방법 자체보다도 변형 및 기준의 선택이 추론 곡선 형태에 더 큰 영향을 미치므로, 철저한 설계가 필수적이다.