[논문 리뷰] Post-hoc Interpretability for Neural NLP: A Survey

Andreas Nygaard Madsen, Siva Reddy외 1명|arXiv (Cornell University)|2021. 08. 10.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 종합 검토는 신경망 NLP 모델에 대한 사후 해석성 방법을 체계적으로 분류하며, 인간에게 설명을 전달하는 방식에 따라 분류한다—입력 특징에서 자연어, 전역 개념에 이르기까지. 핵심 방법을 검토하고 검증 관행을 평가하며, 고위험 분야의 NLP 응용에서 신뢰성과 책임감을 높이기 위해 해석성에 대한 표준화되고 원칙적인 측정 기준을 도입할 것을 주장한다.

ABSTRACT

Neural networks for NLP are becoming increasingly complex and widespread, and there is a growing concern if these models are responsible to use. Explaining models helps to address the safety and ethical concerns and is essential for accountability. Interpretability serves to provide these explanations in terms that are understandable to humans. Additionally, post-hoc methods provide explanations after a model is learned and are generally model-agnostic. This survey provides a categorization of how recent post-hoc interpretability methods communicate explanations to humans, it discusses each method in-depth, and how they are validated, as the latter is often a common concern.

연구 동기 및 목표

• 복잡한 신경망 NLP 모델의 안전성, 윤리성, 책임성에 대한 우려가 증가하는 상황에서, 특히 헬스케어 및 형사 사법과 같은 고위험 분야에서 이를 해결하기 위해.
• 모델에 종속되지 않은 사후 훈련 기반 접근법을 중심으로, 인간에게 설명을 전달하는 방식에 따라 사후 해석성 방법을 체계적으로 분류하기 위해.
• 해석성 연구에서 사용되는 검증 기법을 분석하고 비교하며, 표준화 부족과 원칙적인 대체 측정 기준의 필요성을 부각하기 위해.
• 클래스 수준 및 시퀀스-투-시퀀스 설명과 같이 미처 다루지 않은 설명 유형에 더 많은 관심을 기울이고, 내재적 해석성과 사후 해석성 방법을 연결하기 위해.
• 해석성 평가의 신뢰성과 재현 가능성을 보장하기 위해 더 견고하고 표준화된 평가 프레임워크 개발을 촉진하기 위해.

제안 방법

• 표 1에 제시된 분류 체계를 통해 사후 해석성 방법을 통신 방식(예: 입력 특징, 대비 예제, 자연어)과 정보 원천(예: 기울기, 주의 메커니즘, 영향 함수)에 따라 분류한다.
• 지역적 토큰 수준의 설명에서 전역적 개념 기반 또는 규칙 기반 설명에 이르기까지 추상화 수준의 스펙트럼을 따라 분류하며, 인간이 이해하기 쉬운 정도를 고려한다.
• LIME, SHAP, Grad-CAM, 영향 함수, 프로토타입 네트워크 등을 포함한 15개 범주에 걸쳐 150개 이상의 방법을 검토하며, 각각의 방법에 대해 전용 섹션에서 상세히 논의한다.
• 재학습이나 아키텍처 변경 없이도 적용 가능한 모델에 종속되지 않은 사후 해석 방법에 중점을 두어, 다양한 NLP 모델에 광범위하게 적용 가능하도록 한다.
• 황금 표준 설명이 없기 때문에, 함수 기반 기반성 등 원칙적인 축약 측정 기준을 활용한 해석성 평가 프레임워크를 제안한다.
• 내재적 해석성과 사후 해석성 방법을 융합한 하이브리드 접근법을 논의하며, 예를 들어 훈련 중 입력 마스킹에 의존하는 Kernel SHAP이나 노이즈 주입을 통한 설명 품질 향상 기법을 포함한다.

실험 결과

연구 질문

• RQ1 사후 해석성 방법은 통신 스타일과 정보 원천에 따라 어떻게 체계적으로 분류될 수 있는가?
• RQ2 입력 특징, 반대 조건, 자연어 설명과 같은 다양한 설명 유형이 인간에게 모델 행동을 전달하는 데 있어 각각의 장점과 한계는 무엇인가?
• RQ3 왜 해석성 방법의 검증은 특히 어렵고, 가장 원칙적인 대체 측정 기준은 무엇인가?
• RQ4 왜 클래스 수준 및 시퀀스-투-시퀀스 설명은 미처 다루지 못했으며, 이를 통해 실제 NLP 응용에서 해석성은 어떻게 향상될 수 있는가?
• RQ5 내재적 해석성과 사후 해석성 방법을 어떻게 의미 있게 융합하여 모델의 투명성과 신뢰성을 높일 수 있는가?

주요 결과

• 사후 해석성 방법은 지역적 토큰 수준의 샐런시 맵에서 전역적 개념 기반 설명에 이르기까지 통신 스타일이 다양하며, 어떤 한 방법이 항상 우월한 것은 아니다.
• 해석성의 검증은 황금 표준 설명이 없기 때문에 여전히 큰 도전 과제이다. 기능 기반 기반성은 유일한 실현 가능한 대체 측정 기준이지만, 측정 자체가 본질적으로 어렵다.
• 클래스 수준의 설명은 다소 미흡하게 다뤄지지만, 지역적 설명보다는 더 일반적이며 전역 추상화보다 더 구체적인 중간 지점으로서 매우 유용하다.
• 시퀀스-투-시퀀스 모델은 널리 사용되지만 설명은 부족하다. 대부분의 방법은 시퀀스-투-클래스 작업을 대상으로 설계되어 있으며, 효과적인 설명을 위해서는 상호작용 기반 시각화가 종종 필요하다.
• 하이브리드 접근법, 예를 들어 Kernel SHAP나 노이즈 증강 입력 마스킹은 내재적 설계 선택이 사후 해석 품질에 상당한 영향을 줄 수 있음을 보여준다.
• 해석성 평가를 위한 표준화된 벤치마크가 부족하며, 저자들은 더 높은 수준의 원칙적이고 재현 가능한 측정 기준에 대한 관심을 촉구하며, 이는 신뢰성과 분야의 진전을 보장하기 위함이다.