[논문 리뷰] Towards Faithful Model Explanation in NLP: A Survey

Qing Lyu, Marianna Apidianaki외 1명|arXiv (Cornell University)|2022. 09. 22.

Topic Modeling인용 수 12

한 줄 요약

이 종합 검토는 신뢰성—모델의 추론을 정확히 반영하는 정도—의 관점에서 110개 이상의 NLP 모델 설명 방법에 대한 종합적 분석을 제공한다. 이는 방법들을 다섯 가지 가족으로 분류하고, 그들의 신뢰성을 평가하며, NLP에서 신뢰할 수 있고 신뢰성 있는 모델 해석 가능성 달성에 향후 도전 과제와 방향을 규명한다.

ABSTRACT

End-to-end neural Natural Language Processing (NLP) models are notoriously difficult to understand. This has given rise to numerous efforts towards model explainability in recent years. One desideratum of model explanation is faithfulness, i.e. an explanation should accurately represent the reasoning process behind the model's prediction. In this survey, we review over 110 model explanation methods in NLP through the lens of faithfulness. We first discuss the definition and evaluation of faithfulness, as well as its significance for explainability. We then introduce recent advances in faithful explanation, grouping existing approaches into five categories: similarity-based methods, analysis of model-internal structures, backpropagation-based methods, counterfactual intervention, and self-explanatory models. For each category, we synthesize its representative studies, strengths, and weaknesses. Finally, we summarize their common virtues and remaining challenges, and reflect on future work directions towards faithful explainability in NLP.

연구 동기 및 목표

• 현재 방법들이 모델 추론에 대한 공식적인 기반 없이 신뢰할 수 있고 신뢰성 있는 모델 설명이 부족한 NLP 분야에서의 핵심적인 필요를 해결하기 위해.
• 신뢰성의 개념을 명확히 하고, 타당성과 같은 유사하지만 별개의 원칙들과의 차이를 명확히 하기 위해.
• 유사성 기반, 내부 구조 분석, 백프로파게이션 기반, 역설적 간섭, 자기 설명 모델의 다섯 가지 카테고리로 나누어 110개의 설명 방법에 대한 체계적인 분류 체계를 제공하기 위해.
• 기존 방법들의 강점과 약점을 신뢰성 측면에서 비판적으로 평가하여, 평가 관행에서의 일반적인 결함과 일관성 없는 점을 규명하기 위해.
• 진정으로 신뢰성 있고 신뢰성 있으며 표준화된 NLP 모델 설명을 달성하기 위한 주요 과제와 향후 연구 방향을 제시하기 위해.

제안 방법

• 다섯 가지 카테고리로 나누어진 설명 방법의 분류 체계를 제안: 유사성 기반, 내부 구조 분석, 백프로파게이션 기반, 역설적 간섭, 자기 설명 모델.
• 기울기 및 전파 방법의 수학적 공식화를 검토하며, 통합 기울기, 스무스드래프트, LRP, 딥리프트, 딥테일러 분해를 포함한다.
• LIME, SHAP, 앵커스와 같은 편향 기반 방법을 통해 역설적 설명을 분석하며, 입력 수정에 따른 예측 평가를 수행한다.
• 정성적 및 정량적 지표를 사용해 신뢰성을 평가하며, 기존 평가 관행에서의 일관성 없는 점을 부각한다.
• 캡투, LIT, 얼렌NLP 인터프리트, 웨이트-이프 툴과 같은 도구 및 프레임워크를 통합하여 설명 방법의 구현 및 시각화를 지원한다.
• 용어의 모호성과 설명 가능성 연구의 방법론적 명확성 향상을 위해 개선된 직관적인 분류 체계를 제안한다.

실험 결과

연구 질문

• RQ1 NLP 모델 설명에서 신뢰성은 무엇을 정의하며, 타당성 또는 기타 설명 가능성 원칙과 어떻게 다릅니까?
• RQ2 기울기 기반, 주의 기반, 또는 역설적 방법과 같은 다양한 설명 방법들이 신뢰성 측면에서 어떻게 성과를 내는가?
• RQ3 현재 NLP 설명 연구에서의 신뢰성 평가 관행에 있어 주요 불일치점과 제한 사항은 무엇입니까?
• RQ4 어느 메서드 가족이 더 강한 내재적 신뢰성을 보이며, 그들의 주요 기술적 및 개념적 트레이드오프는 무엇입니까?
• RQ5 진정으로 신뢰성 있고, 안정적이며 표준화된 NLP 모델 설명을 달성하기 위해 가장 시급한 과제와 향후 연구 방향은 무엇입니까?

주요 결과

• 신뢰성은 NLP 설명 가능성에서 근본적이지만 아직 평가가 부족한 원칙이며, 종종 타당성과 혼동되어 오히려 설득력 있는 것처럼 보이지만 잘못된 설명을 초래할 수 있다.
• 다섯 가지 메서드 가족 중에서 백프로파게이션 기반 방법, 예를 들어 통합 기울기와 딥리프트는 공식적인 축약 기반으로 상대적으로 더 높은 신뢰성을 보이지만, 비선형성과 희박한 표현에서 여전히 과제를 겪고 있다.
• LIME와 SHAP와 같은 역설적 방법은 높은 설명 가능성은 제공하지만, 분포 변화나 복잡한 입력 구조에서 신뢰성을 유지하지 못하는 경우가 많다.
• 자기 설명 모델과 유사성 기반 접근은 신뢰성 측면에서 잠재력을 보이지만, 진정한 모델 추론을 반영하지 못할 수 있는 사전 정의된 프로토타입이나 임베딩 공간에 의존하는 데서 제한을 겪는다.
• 신뢰성 평가에 대한 공감대가 없어 연구 간 상호 모순된 결과가 발생하며, 재현 가능성과 설명 가능성 주장에 대한 신뢰를 약화시킨다.
• 이 조사에서는 표준화되고 공식화된 평가 프rotocol의 필요성과, 신뢰성 인식된 방법 설계로의 전환을 통한 고위험 NLP 응용 분야에서의 신뢰할 수 있는 AI 확보의 필수성을 규명한다.