[論文レビュー] Evaluating and Characterizing Human Rationales

Samuel Carton, Anirudh Rathore+1 more|arXiv (Cornell University)|Oct 9, 2020

Explainable Artificial Intelligence (XAI)参考文献 29被引用数 4

ひとこと要約

本稿は、自動化された忠実度メトリクス（十分性と包括性）を用いて人間の根拠を評価し、モデルバイアスやデータセット固有の要因により、人間の根拠がしばしばこれらのメトリクスで低いパフォーマンスを示すことを明らかにした。著者らは、正規化された忠実度メトリクス、根拠のみのデータを用いたモデル再訓練、および忠実度曲線を提案し、冗長性やトークン依存性といった隠れた性質を特定する。

ABSTRACT

Two main approaches for evaluating the quality of machine-generated rationales are: 1) using human rationales as a gold standard; and 2) automated metrics based on how rationales affect model behavior. An open question, however, is how human rationales fare with these automatic metrics. Analyzing a variety of datasets and models, we find that human rationales do not necessarily perform well on these metrics. To unpack this finding, we propose improved metrics to account for model-dependent baseline performance. We then propose two methods to further characterize rationale quality, one based on model retraining and one on using "fidelity curves" to reveal properties such as irrelevance and redundancy. Our work leads to actionable suggestions for evaluating and characterizing rationales.

研究の動機と目的

• 人間が生成した根拠が、しばしばゴールドスタンダードと見なされるが、自動忠実度メトリクス（十分性と包括性）において実際にどれほど高いパフォーマンスを示すかを調査すること。
• 現在の自動評価手法に内在する制限を特定し、それらが人間の根拠の忠実度スコアに誤解を招くか、一貫性のない結果をもたらす要因となること。
• 分類バイアスやフルデータと根拠のみの入力間のドメインシフトといった、モデル固有の行動を考慮に入れた、改善された評価技術の開発。
• 二値の十分性／包括性を超えて、冗長性、不適切性、トークン間依存性を分析することで、根拠の質をより包括的に特徴付けること。
• モデルに依存しない実用的で解釈可能な説明評価フレームワークを提供し、NLPにおけるより信頼性が高く解釈可能な説明評価を支援すること。

提案手法

• ベースラインモデルのパフォーマンスに基づいて忠実度スコアを正規化する手順を提案し、モデル間・データセット間の公平な比較を可能にする。
• 根拠のみのデータを用いたモデル再訓練を導入し、偶然の忠実度と潜在的忠実度を区別することで、根拠の真の予測力の特定を可能にする。
• 根拠からのトークンを段階的にオクルージョンすることで、十分性と包括性の低下を測定し、忠実度曲線を構築する。
• 忠実度曲線の形状を用いて、冗長性（徐々に低下）やトークン依存性（急激に低下）といった、詳細な根拠の性質を推定する。
• 6つの多様なNLPデータセットにわたる応用により、タスク、クラス、モデルごとの根拠品質のばらつきを分析する。
• 正規化されたメトリクス、再訓練済みモデル、忠実度曲線の結果を比較し、根拠品質の多次元的特徴付けを提供する。

実験結果

リサーチクエスチョン

• RQ1 異なるモデルやデータセットにおいて、人間の根拠は標準的な自動忠実度メトリクス（十分性と包括性）でどの程度のパフォーマンスを示すか？
• RQ2 モデルバイアスやクラス不均衡が、標準メトリクスを用いた根拠品質評価にどれほど歪みをもたらすか？
• RQ3 忠実度スコアの正規化は、モデル間・データセット間の比較における公平性と解釈可能性を向上させるか？
• RQ4 根拠のみのデータでモデルを再訓練することで、フルデータでの「偶然の」パフォーマンスを超えた「潜在的」忠実度がどのように明らかになるか？
• RQ5 ランダムオクルージョン下での忠実度曲線の形状を分析することで、冗長性、不適切性、トークン依存性といった根拠構造に関する何が明らかになるか？

主な発見

• 人間の根拠は、ゴールドスタンダードと見なされる場合でも、自動メトリクスではしばしば低い十分性と包括性を示す。
• モデル固有のバイアス（例：E-SNLIにおけるニュートラルクラスへの強い傾向）により、不誠実な根拠でも誤って高い忠実度スコアが得られることがある。
• 忠実度メトリクスの正規化により、ベースラインモデルの行動に起因する分散が顕著に低減され、より信頼性の高いモデル間比較が可能になる。
• 根拠のみのデータでモデルを再訓練することで、多くの根拠が高水準の「潜在的」忠実度を示すことが明らかになり、初期評価では捉えきれなかった有用な信号が存在することが示唆された。
• 忠実度曲線は根拠の構造的性質を露呈する：分類タスクでは高いトークン依存性と低い冗長性が、ドキュメント／クエリタスクではより高い冗長性と低い依存性が観察された。
• 忠実度曲線の形状は、冗長な（徐々に低下する）と相互依存性のある（急激に低下する）トークン集合を区別でき、根拠品質の新たな診断ツールを提供する。