[論文レビュー] Towards Faithful Model Explanation in NLP: A Survey

Qing Lyu, Marianna Apidianaki+1 more|arXiv (Cornell University)|Sep 22, 2022

Topic Modeling被引用数 12

ひとこと要約

本サーベイは、信頼性——つまり説明がモデルの推論を正確に反映している程度——の観点から、110種類以上のNLPモデル説明手法を包括的に分析している。手法は5つのファミリーに分類され、信頼性が評価され、信頼できる、信頼性のあるモデルの解釈可能性を実現するための主な課題と今後の方向性が特定されている。

ABSTRACT

End-to-end neural Natural Language Processing (NLP) models are notoriously difficult to understand. This has given rise to numerous efforts towards model explainability in recent years. One desideratum of model explanation is faithfulness, i.e. an explanation should accurately represent the reasoning process behind the model's prediction. In this survey, we review over 110 model explanation methods in NLP through the lens of faithfulness. We first discuss the definition and evaluation of faithfulness, as well as its significance for explainability. We then introduce recent advances in faithful explanation, grouping existing approaches into five categories: similarity-based methods, analysis of model-internal structures, backpropagation-based methods, counterfactual intervention, and self-explanatory models. For each category, we synthesize its representative studies, strengths, and weaknesses. Finally, we summarize their common virtues and remaining challenges, and reflect on future work directions towards faithful explainability in NLP.

研究の動機と目的

• NLPにおける信頼性があり、忠実なモデルの説明の重要性を満たすための、現在の手法がモデルの推論に基づく正式な根拠を欠いているという深刻なニーズに対処すること。
• 信頼性の概念を明確にし、類縁だが異なる原則（たとえば妥当性）と区別すること。
• 5つのカテゴリーに分類された110種類の説明手法の体系的分類体系（類似性ベース、内部構造分析、バックプロパゲーションベース、対向的介入、自己説明型モデル）を提供すること。
• 信頼性の観点から、既存手法の長所と短所を批判的に評価し、評価手法における一般的な欠陥や一貫性の欠如を特定すること。
• NLPにおける真正な、信頼できる、標準化されたモデルの説明を実現するための、未解決の課題と今後の研究方向性を提示すること。

提案手法

• 5つのカテゴリーに分類された説明手法の分類体系（類似性ベース、内部構造分析、バックプロパゲーションベース、対向的介入、自己説明型モデル）を提唱する。
• 勾配および伝搬手法の数学的定式化をレビューし、Integrated Gradients、SmoothGrad、LRP、DeepLift、Deep-Taylor分解を含む。
• LIME、SHAP、Anchorsなどの入力変更による予測評価に基づく摂動法を用いた対向的説明の分析。
• 定性的および定量的メトリクスを用いて信頼性を評価し、既存の評価手法における一貫性の欠如を強調する。
• Captum、LIT、AllenNLP Interpret、What-if Toolなどのツールやフレームワークを統合し、説明手法の実装と可視化を支援する。
• 用語の曖昧さを解消し、解釈可能性研究におけるメソドロジーの明確化を図る、洗練された直感的な分類体系を提唱する。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルの説明における信頼性とは何か。妥当性や他の解釈可能性の原則とはどのように異なるか。
• RQ2 勾配ベース、アテンションベース、対向的手法などの異なる説明手法は、信頼性の観点でどのように性能を発揮するか。
• RQ3 NLPの説明研究における現在の信頼性評価手法に、どのような主要な一貫性の欠如や制限があるか。
• RQ4 どの手法ファミリーがより高い本質的信頼性を示し、その技術的および概念的トレードオフは何か。
• RQ5 NLPにおける真正な、信頼できる、標準化されたモデルの説明を実現するための、最も深刻な課題と今後の研究方向性は何か。

主な発見

• 信頼性はNLPの解釈可能性において根本的だが、まだ十分に評価されていない原則であり、しばしば妥当性と混同され、見た目には説得力があるが誤った説明を生じさせる原因となっている。
• 5つの手法ファミリーの中で、Integrated Gradients や DeepLift などのバックプロパゲーションベースの手法は、形式的な公理的根拠があるため、相対的に高い信頼性を示しているが、非線形およびスパースな表現においても課題を抱えている。
• LIME や SHAP などの対向的手法は高い解釈可能性を提供するが、分布のシフトや複雑な入力構造下では信頼性を維持できないことが多い。
• 自己説明型モデルや類似性ベースのアプローチは信頼性において有望であるが、真のモデルの推論を反映しない事前定義されたプロトタイプや埋め込み空間に依存するという制限がある。
• 信頼性の評価に共通の合意がなく、研究間で互換性のない結果が生じており、再現性と解釈可能性の主張に対する信頼性を損なっている。
• 本サーベイは、標準化され、形式化された評価プロトコルの必要性と、信頼性を意識した手法設計へのシフトの重要性を明らかにした。これにより、高リスクなNLPアプリケーションにおける信頼できるAIの実現が可能になる。