[논문 리뷰] Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior?

Peter Hase, Mohit Bansal|arXiv (Cornell University)|2020. 05. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 24

한 줄 요약

이 연구는 텍스트 및 표 형태 분류 작업에서 인간 사용자가 모델 행동을 예측하는 데 도움이 되는 다섯 가지 알고리즘 기반 설명 방법—LIME, Anchor, 결정 경계, 프로토타입, 복합 방법—을 평가한다. 통제된 인간 대상 실험을 통해, LIME는 표 형태 데이터에서 시뮬레이션 가능성을 향상시키며, 프로토타입 방법은 반대 조건 예측 정확도를 향상시킨다. 그러나 사용자 평가의 설명 품질은 효과성을 예측하지 못한다.

ABSTRACT

Algorithmic approaches to interpreting machine learning models have proliferated in recent years. We carry out human subject tests that are the first of their kind to isolate the effect of algorithmic explanations on a key aspect of model interpretability, simulatability, while avoiding important confounding experimental factors. A model is simulatable when a person can predict its behavior on new inputs. Through two kinds of simulation tests involving text and tabular data, we evaluate five explanations methods: (1) LIME, (2) Anchor, (3) Decision Boundary, (4) a Prototype model, and (5) a Composite approach that combines explanations from each method. Clear evidence of method effectiveness is found in very few cases: LIME improves simulatability in tabular classification, and our Prototype method is effective in counterfactual simulation tests. We also collect subjective ratings of explanations, but we do not find that ratings are predictive of how helpful explanations are. Our results provide the first reliable and comprehensive estimates of how explanations influence simulatability across a variety of explanation methods and data domains. We show that (1) we need to be careful about the metrics we use to evaluate explanation methods, and (2) there is significant room for improvement in current methods. All our supporting code, data, and models are publicly available at: https://github.com/peterbhase/InterpretableNLP-ACL2020

연구 동기 및 목표

• 모델 행동을 새로운 입력에서 예측할 수 있는 능력인 인간의 시뮬레이션 가능성을 향상시키는 데 영향을 미치는 알고리즘 기반 설명의 영향을 분리하고 측정하는 것.
• 통제된 인간 실험을 통해 텍스트 및 표 형태 데이터 영역에서 설명 방법을 평가하는 것.
• 사용자 평가의 설명 품질 주관적 평가가 시뮬레이션 작업에서 실제 효과성과 상관관계가 있는지 확인하는 것.
• 사용자 모델 행동 이해도를 가장 신뢰성 있게 향상시키는 설명 기법을 특정하는 것.
• 시뮬레이션 가능성을 핵심 지표로 사용하여 설명 방법 평가를 위한 종합적이고 신뢰할 수 있는 벤치마크를 제공하는 것.

제안 방법

• 전방 시뮬레이션(입력과 설명이 주어졌을 때 모델 출력을 예측하는 작업)과 반대 조건 시뮬레이션(입력의 변형 후 모델 출력을 예측하는 작업)이라는 두 가지 유형의 시뮬레이션 작업을 수행했다.
• 답안 泄露를 방지하고 설명이 암기되지 않도록 하기 위해 테스트 인스턴스에서 별도의 설명된 예제를 사용했다.
• 사용자가 레이블 추측을 통해 성공하는 것을 방지하기 위해 모델 정확도에 따라 데이터를 균형 조절했다.
• 사용자가 모든 입력에 대해 예측을 내리도록 강제하여 과도하게 특정된 설명에 편향되지 않도록 했다.
• 다섯 가지 설명 방법을 평가했다: LIME, Anchor, 결정 경계(잠재 공간 이동), 프로토타입(사례 기반 추론), 및 모든 설명을 통합한 복합 방법.
• 시뮬레이션 작업에서의 효과성 예측력을 평가하기 위해 설명 품질에 대한 주관적 수치 평가를 수집했다.

실험 결과

연구 질문

• RQ1 어떤 알고리즘 기반 설명 방법이 전방 및 반대 조건 예측 작업에서 인간 사용자의 모델 행동 시뮬레이션 능력을 가장 효과적으로 향상시키는가?
• RQ2 사용자 평가의 설명 품질 주관적 평가는 실제로 시뮬레이션 작업 성과를 얼마나 잘 예측하는가?
• RQ3 설명 방법은 텍스트 및 표 형태 데이터 영역 모두에서 시뮬레이션 가능성을 향상시키는가, 아니면 영역별로 효과가 다를까?
• RQ4 여러 설명 방법을 조합한 복합 방법(Composite approach)은 개별 방법보다 더 나은 시뮬레이션 가능성을 제공할 수 있는가?
• RQ5 데이터 분포 및 설명 생성 시간과 같은 혼동 요인은 설명 효과성 평가에 어떻게 영향을 미치는가?

주요 결과

• LIME는 표 형태 분류 작업에서 전방 및 반대 조건 시뮬레이션 가능성을 모두 유의미하게 향상시킨다.
• 프로토타입 방법은 텍스트 및 표 형태 데이터 영역 모두에서 반대 조건 시뮬레이션 가능성을 향상시키며, 이 설정에서 다른 방법보다 뛰어난 성능을 보였다.
• 텍스트 영역에서는 어느 한 방법도 전방 및 반대 조건 작업 모두에서 일관되게 시뮬레이션 가능성을 향상시키지 못했지만, 프로토타입 및 복합 방법이 평균적으로 가장 우수한 성능을 보였다.
• 사용자 평가의 설명 품질 주관적 평가는 시뮬레이션 작업에서의 효과성 예측에 도움이 되지 않으며, 이는 인식된 유용성과 실제 유용성 사이의 괴리가 있음을 시사한다.
• 복합 설명 방법은 품질 평가에서는 높은 점수를 받았지만, 어느 데이터 영역에서도 시뮬레이션 가능성을 향상시키지 못했으며, 이는 설명을 조합한다고 해서 항상 사용자 이해도가 향상되는 것은 아님을 시사한다.
• 이 연구는 시뮬레이션 가능성에 대한 설명 방법의 영향을 종합적이고 통제된 방식으로 평가한 최초의 연구이며, 대부분의 방법이 효과가 제한적임을 드러내며, 더 나은 평가 지표와 향상된 설명 기법이 필요함을 강조한다.