[論文レビュー] Post-hoc Interpretability for Neural NLP: A Survey

Andreas Nygaard Madsen, Siva Reddy+1 more|arXiv (Cornell University)|Aug 10, 2021

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本調査では、ニューラルNLPモデルの事後解釈手法を、人間への説明の伝達方法に基づいて包括的に分類し、入力特徴量から自然言語、グローバルな概念に至るまで多様なスタイルをカバーする。主な手法をレビューし、検証手法の実態を評価し、高リスク分野におけるNLP応用における信頼性と説明責任を高めるために、標準的で原則に基づいた解釈性の測定を提唱する。

ABSTRACT

Neural networks for NLP are becoming increasingly complex and widespread, and there is a growing concern if these models are responsible to use. Explaining models helps to address the safety and ethical concerns and is essential for accountability. Interpretability serves to provide these explanations in terms that are understandable to humans. Additionally, post-hoc methods provide explanations after a model is learned and are generally model-agnostic. This survey provides a categorization of how recent post-hoc interpretability methods communicate explanations to humans, it discusses each method in-depth, and how they are validated, as the latter is often a common concern.

研究の動機と目的

• 医療や刑事司法など、高リスク分野における複雑なニューラルNLPモデルの安全性、倫理的配慮、説明責任に関する懸念が高まる中、それらを解消するため。
• 人間への説明の伝達方法に基づいて、モデルに依存しない、訓練後におけるアプローチを重視した、事後解釈手法の体系的分類を提供するため。
• 解釈性研究で用いられる検証手法を分析・比較し、標準化の欠如と、原則に基づいた代理指標の必要性を浮き彫りにするため。
• クラスレベルやシーケンス・ツー・シーケンスの説明といった、これまで軽視されがちな説明タイプに注目を向け、内因的解釈性と事後解釈性の手法を橋渡しするため。
• 信頼性と再現可能性を確保するため、解釈性のためのより強固で標準化された評価フレームワークの開発を促進するため。

提案手法

• 表1に提案された分類法により、説明の伝達方法（例：入力特徴量、対抗的例、自然言語）と情報源（例：勾配、注目機構、影響関数）に基づいて、事後解釈手法を体系的に整理する。
• 局所的でトークンレベルの説明から、グローバルで概念ベースまたはルールベースの説明に至るまでの抽象度のスケールに沿って分類し、人間が理解しやすい説明の度合いを強調する。
• LIME、SHAP、Grad-CAM、影響関数、プロトタイプネットワークなどを含む15のカテゴリーにわたり150件以上の手法をレビューし、各々を専用セクションで詳細に議論する。
• 再訓練やアーキテクチャの変更を必要としない、モデルに依存しない事後手法を強調し、多様なNLPモデルに広く適用可能であることを強調する。
• ゴールドスタンダードの説明が存在しないため、関数的根拠（functionally-groundedness）などの公理や代理指標を通じて解釈性を評価するフレームワークを提唱する。
• 内因的と事後的手法を組み合わせたハイブリッドアプローチを議論し、例として訓練時に入力マスクを用いるKernel SHAPや、ノイズ注入による説明品質の向上を挙げている。

実験結果

リサーチクエスチョン

• RQ1 説明スタイルと情報源に基づいて、事後解釈手法を体系的に分類する方法は何か？
• RQ2 入力特徴量、対向的例、自然言語といった異なる説明タイプの長所と短所は何か。これらはモデルの挙動を人間が理解するのにどのように寄与するか？
• RQ3 なぜ解釈性手法の検証は特に困難であり、どのような原則に基づいた代理指標が最も適しているのか？
• RQ4 なぜクラスレベルやシーケンス・ツー・シーケンスの説明は軽視されがちであり、それらは実世界のNLP応用における解釈性をどのように向上させ得るのか？
• RQ5 内因的解釈性と事後解釈性の手法をどのように意味的に統合することで、モデルの透明性と信頼性を高められるか？

主な発見

• 事後解釈手法は、局所的でトークンレベルのサリエンシーマップからグローバルで概念ベースの説明まで、伝達スタイルに多様性を示すが、どの手法も普遍的に優れているわけではない。
• 解釈性の検証は、ゴールドスタンダードの説明が存在しないため、依然として大きな課題である。関数的根拠が唯一の実用的代理指標であるが、測定自体が本質的に困難である。
• クラスレベルの説明は軽視されがちだが、局所的説明よりは一般化されており、グローバルな抽象化よりは根拠が明確な、価値ある中間領域を提供する。
• シーケンス・ツー・シーケンスモデルは広く使われているが、解釈が不十分である。多くの手法はシーケンス・ツー・クラスタスクを想定しており、効果的な説明にはインタラクティブな可視化がしばしば不可欠である。
• ハイブリッド手法、例えばKernel SHAP やノイズを含む入力マスク法は、内因的設計の選択が事後解釈の品質を顕著に向上させ得ることを示している。
• 解釈性評価のための標準的ベンチマークがこの分野には存在せず、著者らは、信頼性と進歩を確保するため、原則に基づき再現可能である測定にさらなる注目を要請している。