[論文レビュー] Local Interpretations for Explainable Natural Language Processing: A Survey

Siwen Luo, Hamish Ivison+2 more|arXiv (Cornell University)|Mar 20, 2021

Topic Modeling参考文献 215被引用数 17

ひとこと要約

本調査は、自然言語処理における局所的解釈可能性手法について包括的な分析を提供し、特徴量の重要度、自然言語による説明、隠れ状態のプローブを含む3つのカテゴリーに分類している。評価における主な課題として、メトリクスの不一致と主観的な人間評価への依存が特定され、正しく予測された場合と誤った予測の場合の両方において、忠実性と信頼性の向上を目的とした統一的でユーザー中心の評価フレームワークの構築が提言されている。

ABSTRACT

As the use of deep learning techniques has grown across various fields over the past decade, complaints about the opaqueness of the black-box models have increased, resulting in an increased focus on transparency in deep learning models. This work investigates various methods to improve the interpretability of deep neural networks for Natural Language Processing (NLP) tasks, including machine translation and sentiment analysis. We provide a comprehensive discussion on the definition of the term interpretability and its various aspects at the beginning of this work. The methods collected and summarised in this survey are only associated with local interpretation and are specifically divided into three categories: 1) interpreting the model's predictions through related input features; 2) interpreting through natural language explanation; 3) probing the hidden states of models and word representations.

研究の動機と目的

• 局所的解釈可能性手法を体系的にレビューし、モデル全体の挙動ではなく個々の予測の説明に焦点を当てる。
• 深層ニューラルネットワークの文脈において、解釈可能性、説明可能性、忠実性の違いを明確にする。
• 現在の評価手法における深刻な制限、特に人間による評価への過度な依存と自動メトリクスの不一致に注目する。
• 正しく予測された場合と誤った予測の場合の両方において、忠実性、安定性、理解可能性を評価できる包括的な評価フレームワークの開発を提唱する。
• 解釈可能なモデルが正しく予測した場合だけでなく、誤りを説明できるようにする必要性を強調し、信頼性の高い自己修正型AIシステムの構築を支援する。

提案手法

• 局所的解釈可能性技術を3つの主要なタイプに分類する：特徴量の重要度、自然言語説明（NLE）、および隠れ状態や語の表現のプローブ。
• LIME や Grad-CAM などの特徴量の重要度手法をレビューし、予測に最も影響を与える入力トークンを強調する。
• 自然言語説明生成を検討し、seq2seq やプロンプトベースのアプローチを用いてモデルが予測の理由をテキストで提示する仕組みを分析する。
• 内部表現（例：アテンションヘッド、隠れ状態）を分析することでモデルの推論を解釈するプロービング技術を分析する。
• 既存の自動評価法と人間による評価法を評価し、NLE における BLEU や忠実性評価に用いられる DFFOT/SUFF などのメトリクスにおける不一致と限界を指摘する。
• 予測タイプにかかわらず、複数の解釈可能性次元を評価できる再現可能でユーザー中心のフレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 NLPにおける局所的解釈可能性手法は、どのように体系的に分類・比較できるか？
• RQ2 深層学習モデルの文脈において、解釈可能性、説明可能性、忠実性の主な違いは何か？
• RQ3 なぜ解釈可能性手法の評価が不一致となるのか。また、現在の自動評価と人間評価アプローチにおける主な限界は何か？
• RQ4 解釈可能性手法は、正しく予測された場合だけでなく、モデルの誤りを説明するためにどのように拡張できるか？
• RQ5 信頼性があり再現可能でユーザー中心の解釈可能性評価フレームワークに必要な主要な構成要素は何か？

主な発見

• 自然言語説明（NLE）の自動評価メトリクス（例：BLEU）は、意味的な忠実性を正しく捉えられておらず、説明の質に関する誤った結論を導くことがある。
• DFFOT や SUFF といった評価メトリクスは、同じモデルとデータセットに対して矛盾した結果を出力するため、自動評価における一貫性と信頼性の欠如が示されている。
• 人間評価は解釈可能性を評価するゴールドスタンダードではあるが、主観的で時間がかかり、研究間での再現が難しい。
• 安定性や信頼性といった解釈可能性次元の評価には、現在の自動フレームワークで十分にカバーされておらず、大きな研究ギャップが存在する。
• 解釈可能性研究の大部分は、正しく予測された場合の説明に限定されており、モデルの誤りを説明するという重要なニーズが無視されており、モデルの信頼性と実用性を制限している。
• 説得力があり、理解しやすく、安定した説明を、正しく予測された場合と誤った予測の場合の両方に対して生成できるモデルの開発こそ、自己修正型で信頼性のあるAIシステムを実現するための今後の道筋である。