[논문 리뷰] Evaluating Explanations for Reading Comprehension with Realistic Counterfactuals.

Xi Ye, Rohan Nair외 1명|arXiv (Cornell University)|2021. 04. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 55인용 수 7

한 줄 요약

이 논문은 실제 반성적 입력 시나리오에서 모델 행동을 어떻게 반영하는지 평가하는 방법론을 제안한다. 이는 기계적 독해(MRC)의 설명을 평가하기 위한 것이다. 연구 결과, 쌍별 설명 기법이 일반적으로 모델 행동을 더 잘 반영하는 토큰 수준의 기여도보다 뛰어나며, 주의 기반 설명을 개선하여 모델 행동을 더 잘 드러내는 데 기여한다.

ABSTRACT

Token-level attributions have been extensively studied to explain model predictions for a wide range of classification tasks in NLP (e.g., sentiment analysis), but such explanation techniques are less explored for machine reading comprehension (RC) tasks. Although the transformer-based models used here are identical to those used for classification, the underlying reasoning these models perform is very different and different types of explanations are required. We propose a methodology to evaluate explanations: an explanation should allow us to understand the RC model's high-level behavior with respect to a set of realistic counterfactual input scenarios. We define these counterfactuals for several RC settings, and by connecting explanation techniques' outputs to high-level model behavior, we can evaluate how useful different explanations really are. Our analysis suggests that pairwise explanation techniques are better suited to RC than token-level attributions, which are often unfaithful in the scenarios we consider. We additionally propose an improvement to an attention-based attribution technique, resulting in explanations which better reveal the model's behavior.

연구 동기 및 목표

• 기계적 독해(MRC)에서 설명 기법 평가 프레임워크의 부족을 해결하기 위해, 분류 작업과 근본적으로 다름을 이해하기 위해.
• MRC 환경에서 고수준 모델 행동을 반영하는 실제 반성적 입력 시나리오를 정의하기 위해.
• 이러한 반성적 조건 하에서 모델 행동과 연결하여 설명 기법의 충실도와 유용성을 평가하기 위해.
• MRC 모델의 추론 과정을 가장 잘 포착하는 설명 기법을 특정하기 위해.

제안 방법

• 다양한 MRC 설정에서 모델 행동을 시험하기 위해 실제 반성적 입력 시나리오를 정의한다.
• 반성적 조건을 이용해 설명 기법을 평가하며, 그 출력이 고수준 모델 행동과 얼마나 잘 일치하는지 측정한다.
• 충실도와 해석 가능성 측면에서 토큰 수준의 기여도와 쌍별 설명 기법을 반성적 조건 하에서 비교한다.
• 주의 가중치 메커니즘을 개선하여 모델 행동을 더 잘 드러내는 개선된 주의 기반 기여도 방법을 제안한다.
• 반성적 입력 하에서 설명 출력과 모델 예측 간의 관계를 분석하여 설명 품질을 평가한다.

실험 결과

연구 질문

• RQ1 MRC에서 실제 반성적 입력 조건 하에서 토큰 수준의 기여도 기법은 모델 행동을 얼마나 잘 반영하는가?
• RQ2 MRC 작업에서 쌍별 설명 기법은 토큰 수준의 기여도보다 더 충실한 해석을 제공하는가?
• RQ3 주의 기반 설명 기법은 MRC에서 모델 추론을 더 잘 드러내기 위해 향상시킬 수 있는가?
• RQ4 반성적 시나리오 하에서 고수준 모델 행동을 기반으로 평가했을 때, 다양한 설명 기법은 어떻게 성능을 보이는가?
• RQ5 기존 설명 기법의 한계를 가장 잘 드러내는 MRC에서의 반성적 입력 변형 유형은 무엇인가?

주요 결과

• 쌍별 설명 기법은 실제 반성적 시나리오 하에서 모델 행동을 더 충실하게 반영한다.
• 토큰 수준의 기여도는 종종 실제 모델 추론을 반영하지 못하며, 반성적 평가에서 낮은 충실도를 보인다.
• 제안된 주의 기반 기여도 방법의 개선으로 고수준 모델 행동과 더 잘 일치하는 설명이 도출된다.
• 반성적 기반 평가에서 많은 기존 설명 기법이 MRC에서 모델 결정을 일관되게 반영하지 못하는 것으로 드러났다.
• 연구는 설명 품질을 고립적으로 평가할 수 없으며, 반드시 변형된 입력 조건 하에서의 행동과 비교 평가해야 한다는 점을 입증한다.