[논문 리뷰] Do Feature Attribution Methods Correctly Attribute Features?

Yilun Zhou, Serena Booth외 2명|arXiv (Cornell University)|2021. 04. 27.

Explainable Artificial Intelligence (XAI)인용 수 16

한 줄 요약

이 논문은 특성 기여도 평가를 위한 지표를 만들기 위해 반자연스러운 데이터 수정 절차를 제안한다. 이를 통해 색소맵, 추론 근거, 주의 메커니즘과 같은 방법들을 체계적으로 평가할 수 있다. 연구 결과, 이러한 방법들은 자주 정보가 없는 특성들—특히 텍스트에서 상관관계가 없는 冠접사들을 선택함으로써 중요도를 잘못 기여도를 부여하는 경향이 있으며, 이는 실제 모델에서 허위 상관관계를 디버깅하는 데 있어 신뢰성에 심각한 영향을 미친다.

ABSTRACT

Feature attribution methods are popular in interpretable machine learning. These methods compute the attribution of each input feature to represent its importance, but there is no consensus on the definition of "attribution", leading to many competing methods with little systematic evaluation, complicated in particular by the lack of ground truth attribution. To address this, we propose a dataset modification procedure to induce such ground truth. Using this procedure, we evaluate three common methods: saliency maps, rationales, and attentions. We identify several deficiencies and add new perspectives to the growing body of evidence questioning the correctness and reliability of these methods applied on datasets in the wild. We further discuss possible avenues for remedy and recommend new attribution methods to be tested against ground truth before deployment. The code is available at https://github.com/YilunZhou/feature-attribution-evaluation

연구 동기 및 목표

• 특성 기여도 평가에 있어 지표의 부재로 인해 그 정확성이 신뢰할 수 없게 되는 문제를 해결하기 위해.
• 허위 상관관계를 인위적으로 도입하여 알려진 기여도 대상이 되는 특성을 갖춘 반자연스러운 데이터를 사용해 체계적인 평가 프레임워크를 개발하기 위해.
• 일반적으로 사용되는 기여도 방법들(색소맵, 추론 근거, 주의 메커니즘)이 오직 조작된 관련 특성들만 정확히 식별하는지 테스트하기 위해.
• 인간 해석자가 오해할 수 있는 과다 기여도 문제, 예를 들어 텍스트에서 상관관계가 없는 어휘(예: 冠접사)에 과도하게 기여도를 주는 실패 양태를暴露하기 위해.
• 향후 기여도 방법들이 고위험 응용 분야에 배포되기 전에 지표 기반 검증을 통해 신뢰성과 충실도를 확보할 것을 촉구하기 위해.

제안 방법

• 자연어 데이터를 체계적으로 수정하여 인위적인 상관관계를 삽입함(예: 이미지에 워터마크 추가, 텍스트에 관련 단어 삽입)으로써 반자연스러운 데이터셋을 생성함.
• 성능을 확보하기 위해 이러한 수정된 데이터셋에서 고정확도 모델을 훈련함. 이때 모델이 성능을 내기 위해 도입된 특성들에 의존하도록 함.
• 훈련된 모델에 대해 세 가지 기여도 방법—색소맵, 추론 모델(RL 및 CR), 주의 메커니즘—을 적용함.
• 지표를 인위적으로 조작된 레이블과 관련된 모든 특성의 합집합으로 정의하고, 이 표준에 따라 기여도 방법을 평가함.
• 다양한 선택 비율(%Sel)에서 정밀도를 측정하여, 기여도 방법이 진짜로 관련된 특성들만 정확히 식별하는지 평가함.
• 훈련 방법(예: REINFORCE)이 신뢰성에 미치는 영향을 분석하고, 실패 패턴(예: 추론 모델이 상관관계가 없는 단어(예: 冠접사)를 선택하는 것)를 분석함.

실험 결과

연구 질문

• RQ1 수정된 데이터셋에서 인위적으로 도입된 지표 기반 관련 특성들만 정확히 식별할 수 있는가?
• RQ2 색소맵, 주의 메커니즘, 추론 모델이 텍스트에서 정보가 없는 특성들(예: 冠접사)에 대해 얼마나 과다 기여도를 주는가?
• RQ3 훈련 방법(예: 강화학습 대비 지도학습)이 추론 선택의 충실도에 어떤 영향을 미치는가?
• RQ4 지표가 없을 경우 현재 사용되는 대체 평가 지표들이 기여도의 진정한 정확성을 충분히 반영하는가?
• RQ5 모델이 허위 상관관계에 의존할 경우 기여도 방법의 실패 양태는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 특히 강화학습으로 훈련된 추론 모델은 예측에 영향을 주지 않는다고 해도, 항상 상관관계가 없는 단어들(예: 冠접사)을 선택하는 경향이 있음.
• 텍스트에서 관련 특성 식별 정밀도는 뚜렷하게 열악했으며, 특히 높은 선택 비율에서 RL 모델이 이론적 최대 정밀도보다 유의미하게 낮은 성능을 보임.
• 색소맵과 주의 메커니즘도 항상 조작된 특성들만 강조하지 못했으며, 관련 없는 이미지나 텍스트의 잡음에 민감하게 반응함.
• 모든 방법이 완전히 만족스러운 성능을 내지 못했으며, 이는 실제 응용에서 광범위한 불신뢰성 존재를 시사함.
• 현재 기여도 방법들은 정보가 없는 특성들을 강조함으로써 사용자를 오도할 수 있으며, 이는 진정한 모델의 추론 과정을 가리킬 수 있음.
• 저자는 새로운 기여도 방법들이 고위험 응용 분야에 배포되기 전에 철저한 지표 기반 평가를 거쳐야 한다고 권고함.