[論文レビュー] Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language?

Peter Hase, Shiyue Zhang+2 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 39被引用数 4

ひとこと要約

本稿では、自然言語による説明が予測を真正実に支持しているかどうかを評価するための新しい指標である漏洩補正シミュラビリティ（LAS）を提案する。この指標は、ラベル漏洩を制御した上で、説明がモデル出力の予測をどの程度可能にするかを測定する。言語モデルを代理観測者として用い、ラベル漏洩を補正した上でのシミュラビリティを測定することで、説明が人間の説得力にのみ対応しているのではなく、モデル行動を真正に支持しているかどうかを評価する。提案されたST-Raモデルは人間水準のLASスコアを達成し、非自明で忠実な説明生成を示している。

ABSTRACT

Data collection for natural language (NL) understanding tasks has increasingly included human explanations alongside data points, allowing past works to introduce models that both perform a task and generate NL explanations for their outputs. Yet to date, model-generated explanations have been evaluated on the basis of surface-level similarities to human explanations, both through automatic metrics like BLEU and human evaluations. We argue that these evaluations are insufficient, since they fail to indicate whether explanations support actual model behavior (faithfulness), rather than simply match what a human would say (plausibility). In this work, we address the problem of evaluating explanations from the model simulatability perspective. Our contributions are as follows: (1) We introduce a leakage-adjusted simulatability (LAS) metric for evaluating NL explanations, which measures how well explanations help an observer predict a model's output, while controlling for how explanations can directly leak the output. We use a model as a proxy for a human observer, and validate this choice with two human subject experiments. (2) Using the CoS-E and e-SNLI datasets, we evaluate two existing generative graphical models and two new approaches; one rationalizing method we introduce achieves roughly human-level LAS scores. (3) Lastly, we frame explanation generation as a multi-agent game and optimize explanations for simulatability while penalizing label leakage, which can improve LAS scores. We provide code for the experiments in this paper at https://github.com/peterbhase/LAS-NL-Explanations

研究の動機と目的

• 既存の評価手法が表面的な類似性（例：BLEU）や説得力に重きを置く一方で、説明の忠実性を無視するという限界に対処すること。
• 説明がモデル出力をどの程度正確に予測可能にするか（シミュラビリティ）を測る指標を構築し、直接的なラベル漏洩を補正すること。
• 人間被験を用いた検証を通じて、専門家およびクラウドソーシング評価と整合性を示す指標の妥当性を検証すること。
• シミュラビリティを最適化する訓練目的が、標準的な言語モデル学習を上回る説明品質の向上に寄与するかどうかを検討すること。
• 説明を監視信号として用いる際の、モデルの精度と説明の忠実性のトレードオフを調査すること、特に合理化モデルと推論モデルの文脈で。

提案手法

• ラベル漏洩を補正した上で、入力と説明を与えられたモデル出力をシミュレータ（言語モデル）がどの程度正しく予測できるかを測定する指標である漏洩補正シミュラビリティ（LAS）を提案。ラベル漏洩を制御するため、説明のみから予測するベースラインモデルを用いる。
• 自動化されたLAS評価を実現するため、事前学習済みT5モデルをシミュレータとして用い、専門家によるシミュラビリティ評価とクラウドソーシング評価の2つの人間被験で妥当性を検証。
• 説明がシミュラビリティを最適化しつつ、ラベル漏洩を罰するように最適化するマルチエージェントゲームフレームワークを導入し、訓練中に代理目的を用いる。
• ラベル漏洩の制御を実現するため、入力と説明を両方与えたシミュレータの正答率（$\mathbbm{1}[\hat{y}|x,\hat{e}]$）と、説明のみを与えた正答率（$\mathbbm{1}[\hat{y}|\hat{e}]$）の差を比較し、その差が漏洩の程度を示す。
• CoS-Eおよびe-SNLIデータセット上で、MT-Ra、ST-Re、MT-Re、および新規のST-Raの4つのモデルを評価し、自動評価と人間評価の両方を用いてLAS指標を適用。
• 回帰分析を用いてLASスコアと人間評価の相関を調査し、ラベル漏洩が人間の好みの最も強い予測要因であることが判明。

実験結果

リサーチクエスチョン

• RQ1 モデルが生成する自然言語説明が、人間の説明に類似しているだけでなく、モデル行動の予測を実際に可能にするかどうかを評価する指標を開発可能か？
• RQ2 既存の説明生成手法は、説得力があるだけでなく、モデル行動に忠実な説明をどの程度生成するか？
• RQ3 説明にラベル漏洩が含まれると人間の説明品質評価にどのように影響するか。また、真のシミュラビリティとは明確に分離可能か？
• RQ4 シミュラビリティを最適化しつつラベル漏洩を低減する訓練目的を設計することで、説明品質の向上が図れるか？
• RQ5 説明を監視信号として用いる場合、モデルの精度と説明の忠実性の間にトレードオフが生じるか？

主な発見

• ST-Raモデルは人間の説明と同等のLASスコアを達成しており、非自明でモデル行動を支持する説明を生成できることを示している。
• ラベルに依存する合理化モデル（ラベルを条件として用いる）は、ラベルに依存しない推論モデル（ラベルを条件として用いない）を上回る性能を示し、ラベル条件付けがシミュラビリティを向上させることを示唆している。
• モデルの精度とLASスコアの間に統計的に有意な相関は認められず、忠実性と精度が主に分離していることが示された。
• 人間の説明評価の最も強い予測要因は、説明がラベルを漏洩しているかどうかであり、シミュラビリティや忠実性ではなく、ラベル漏洩そのものが人間の好みに最も強く影響している。
• マルチエージェントゲームフレームワークを用いた説明最適化によりLASスコアが向上したが、訓練が不安定であり、精度への影響は最小限であった。
• 自動LAS指標は専門家によるシミュレーション結果と人間評価の両方と強く相関しており、人間評価の信頼できる代替指標としての有効性が検証された。