[논문 리뷰] Evaluating Saliency Methods for Neural Language Models

Shuoyang Ding, Philipp Koehn|arXiv (Cornell University)|2021. 04. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 47인용 수 6

한 줄 요약

이 논문은 신경어휘모델에서 해석 가능성 방법을 평가하기 위한 정량적 기준을 제안한다. 핵심 기준으로는 인간의 직관과의 일치성(합리성)과 입력 변화에 대한 일관성(신뢰성)을 사용한다. 연구 결과, 해석 가능성 방법의 결과는 종종 신뢰할 수 없으며, 모델 아키텍처와 설정에 매우 민감하게 반응함을 확인했으며, 사용 전에 결과를 검증할 것을 연구자들에게 당부한다.

ABSTRACT

Saliency methods are widely used to interpret neural network predictions, but different variants of saliency methods often disagree even on the interpretations of the same prediction made by the same model. In these cases, how do we identify when are these interpretations trustworthy enough to be used in analyses? To address this question, we conduct a comprehensive and quantitative evaluation of saliency methods on a fundamental category of NLP models: neural language models. We evaluate the quality of prediction interpretations from two perspectives that each represents a desirable property of these interpretations: plausibility and faithfulness. Our evaluation is conducted on four different datasets constructed from the existing human annotation of syntactic and semantic agreements, on both sentence-level and document-level. Through our evaluation, we identified various ways saliency methods could yield interpretations of low quality. We recommend that future work deploying such methods to neural language models should carefully validate their interpretations before drawing insights.

연구 동기 및 목표

• 신경어휘모델에서 해석 가능성 방법에 대한 정량적 평가의 부족을 해결하기 위해.
• 해석 가능성 해석이 신뢰할 수 있는지 평가하기 위해 합리성과 신뢰성을 측정하기 위해.
• 체계적인 평가를 위해 인간이 애너테이션한 언어 데이터를 기반으로 벤치마크를 구축하기 위해.
• 해석 가능성 방법이 신뢰할 수 있는 해석을 도출하는 조건을 규명하기 위해.
• 모델 행동에 대한 결론을 도출하기 전에 해석 가능성 해석을 철저히 검증할 것을 제안하기 위해.

제안 방법

• 연구는 트랜스포머 기반 언어 모델에서 기존의 기울기, 스무스드래프트, 통합 기울기와 같은 해석 가능성 방법을 평가한다.
• 어휘 수준의 중요도 점수는 임베딩 차원을 통해 기울기 값을 조합하여 L2 노름을 사용한다.
• 합리성은 문법적·의미적 일치 작업에서 인간이 애너테이션한 촉진어/유인어와 해석 가능성 점수를 비교하여 테스트한다.
• 신뢰성은 입력 특징을 변형시키고, 예측 결과가 그대로 유지될 때 해석 가능성 점수의 일관성을 측정하여 평가한다.
• 문장 수준 및 문서 수준 작업에서 기존의 언어학적 애너테이션을 바탕으로 네 가지 테스트 세트를 구성한다.
• 세 가지 모델 아키텍처와 여러 설정을 통해 민감도를 평가하기 위해 평가를 적용한다.

실험 결과

연구 질문

• RQ1 해석 가능성 방법은 문법적·의미적 일치 작업에서 인간이 애너테이션한 언어적 단서와 얼마나 잘 일치하는가?
• RQ2 모델 예측 결과가 유지되는 입력 변화에 대해 해석 가능성 해석은 어느 정도 일관성을 유지하는가?
• RQ3 모델 아키텍처나 설정이 해석 가능성 해석의 신뢰성에 어떤 영향을 미치는가?
• RQ4 신뢰성과 합리성은 해석 가능성 방법의 타당성을 평가하는 신뢰할 수 있는 지표로 사용될 수 있는가?
• RQ5 해석 가능성 방법이 신경어휘모델의 의사결정을 해석하는 데 신뢰할 수 있는 조건은 무엇인가?

주요 결과

• 해석 가능성 방법은 종종 언어 일치 작업에서 인간이 애너테이션한 촉진어와 일치하지 않는 합리성이 결여된 결과를 도출한다.
• 해석 가능성 해석은 또한 예측 결과를 유지하는 입력 변화에 대해 일관성이 떨어지는 경우가 자주 발생하여 신뢰성 테스트에 실패한다.
• 해석 가능성 해석의 신뢰성은 모델 아키텍처와 하이퍼파라미터 설정에 매우 민감하게 반응한다.
• 어느 한 해석 가능성 방법도 모든 테스트 세트에서 다른 방법들보다 뚜렷하게 뛰어나지 않아, 보편적으로 신뢰할 수 있는 방법은 존재하지 않는다.
• 최신 기술의 모델들조차도 합리성과 신뢰성 기준을 사용해 검증하지 않으면 낮은 수준의 해석 품질을 보인다.
• 연구는 검증되지 않은 해석 가능성 해석이 모델의 추론 과정에 대한 오해를 초래할 수 있음을 입증한다.