[논문 리뷰] Local Interpretations for Explainable Natural Language Processing: A Survey

Siwen Luo, Hamish Ivison외 2명|arXiv (Cornell University)|2021. 03. 20.

Topic Modeling참고 문헌 215인용 수 17

한 줄 요약

이 종합 검토는 자연어 처리(NLP) 분야의 국소적 해석 가능성 방법에 대한 종합적 분석을 제공하며, 특징 중요도, 자연어 설명, 숨겨진 상태 탐사로 세 가지 유형으로 분류한다. 평가 과정에서의 주요 과제로는 메트릭의 일관성 부족과 주관적인 인간 평가에 대한 의존성 등을 밝히며, 정확한 예측과 잘못된 예측 모두에 대해 신뢰할 수 있고 충실한 모델 설명을 가능하게 하기 위한 통합적이고 사용자 중심의 평가 프레임워크 개발을 촉구한다.

ABSTRACT

As the use of deep learning techniques has grown across various fields over the past decade, complaints about the opaqueness of the black-box models have increased, resulting in an increased focus on transparency in deep learning models. This work investigates various methods to improve the interpretability of deep neural networks for Natural Language Processing (NLP) tasks, including machine translation and sentiment analysis. We provide a comprehensive discussion on the definition of the term interpretability and its various aspects at the beginning of this work. The methods collected and summarised in this survey are only associated with local interpretation and are specifically divided into three categories: 1) interpreting the model's predictions through related input features; 2) interpreting through natural language explanation; 3) probing the hidden states of models and word representations.

연구 동기 및 목표

• 모델의 전반적 행동이 아닌 개별 예측에 대한 설명 가능성에 초점을 맞춰, NLP 분야의 국소적 해석 가능성 방법에 대한 체계적인 검토를 제공한다.
• 딥 네ural 네트워크의 맥락에서 해석 가능성, 설명 가능성, 충실성 간의 차이를 명확히 한다.
• 현재 평가 관행의 핵심적 한계, 특히 인간 평가에 대한 과도한 의존성과 일관성 없는 자동 메트릭을 규명한다.
• 정확한 예측뿐 아니라 잘못된 예측까지도 충실성, 안정성, 이해 가능성 등을 평가할 수 있는 종합적 평가 프레임워크 개발을 주장한다.
• 신뢰를 구축하고 자기 수정이 가능한 AI 시스템을 가능하게 하기 위해, 잘못된 결정도 설명할 수 있는 해석 가능한 모델의 필요성을 강조한다.

제안 방법

• 국소적 해석 가능성 기법을 특징 중요도, 자연어 설명(NLE), 숨겨진 상태 및 단어 표현 탐사로 세 가지 주요 유형으로 분류한다.
• LIME 및 Grad-CAM과 같은 특징 중요도 방법을 검토하며, 이러한 방법들은 예측에 가장 영향을 미치는 입력 토큰을 강조한다.
• 자연어 설명 생성 기법을 분석하며, 순서 기반 또는 프롬프트 기반 접근 방식을 사용해 모델이 예측에 대한 텍스트 근거를 생성한다.
• 내부 표현(예: 어텐션 헤드, 은닉 상태)을 분석하여 모델의 추론 과정을 해석하는 탐사 기법을 분석한다.
• 기존의 자동 평가 및 인간 기반 평가 방법을 평가하며, NLE에 대한 BLEU나 충실성 평가에 사용되는 DFFOT/SUFF 등의 메트릭에서의 일관성 부족과 한계를 지적한다.
• 예측 유형에 관계없이 여러 해석 가능성 차원을 평가할 수 있는 재현 가능하고 사용자 중심이며, 다양한 예측 타입에 대응 가능한 미래 평가 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 NLP에서 국소적 해석 가능성 방법은 어떻게 체계적으로 분류하고 비교할 수 있는가?
• RQ2 딥 러닝 모델 맥락에서 해석 가능성, 설명 가능성, 충실성 간의 핵심적 차이는 무엇인가?
• RQ3 왜 해석 가능성 방법의 평가는 일관성이 없으며, 현재 자동 평가 및 인간 평가 접근 방식의 주요 한계는 무엇인가?
• RQ4 해석 가능성 방법은 어떻게 정확한 예측뿐만 아니라 모델 오류까지 설명할 수 있도록 확장될 수 있는가?
• RQ5 모델 해석 가능성에 대한 강력하고 재현 가능하며 사용자 중심의 평가 프레임워크의 핵심 구성 요소는 무엇인가?

주요 결과

• 자연어 설명에 대한 현재 자동 평가 메트릭(예: BLEU)은 종종 의미적 충실성을 포착하지 못해 설명 품질에 대한 잘못된 결론을 이끌어낼 수 있다.
• DFFOT 및 SUFF와 같은 평가 메트릭은 동일한 모델과 데이터셋에서 서로 모순된 결과를 도출하며, 자동 평가의 일관성과 신뢰성 부족을 시사한다.
• 인간 평가는 여전히 해석 가능성 평가의 황금 표준이지만, 주관적이며 시간이 오래 걸리며 연구 간 재현이 어렵다.
• 안정성 및 신뢰성과 같은 해석 가능성 차원은 현재 자동화된 프레임워크에서 다소 간과되어 있어 심각한 연구 격차가 존재한다.
• 해석 가능성 연구의 대부분은 정확한 예측만 설명하는 데 집중되어 있어, 모델 오류를 설명할 필요성에 대한 중요한 간과가 존재하며, 이는 모델 신뢰도와 활용도를 제한한다.
• 해석 가능한 AI의 미래는 정확한 예측뿐 아니라 잘못된 예측에 대해서도 충실하고 이해하기 쉬우며 안정적인 설명을 생성할 수 있는 모델 개발에 있다. 이를 통해 자기 수정이 가능하고 신뢰할 수 있는 AI 시스템을 실현할 수 있다.