[論文レビュー] Learning from the Best: Rationalizing Prediction by Adversarial Information Calibration

Lei Sha, Oana-Maria Camburu+1 more|arXiv (Cornell University)|Dec 16, 2020

Topic Modeling参考文献 43被引用数 4

ひとこと要約

本稿では、神経ネットワークモデルにおける抽出的根拠抽出のための新しい敵対的情報キャリブレーション手法を提案する。選択子予測モデルは、内部表現を一致させることでブラックボックスの「ガイド」モデルを模倣する。さらに、自然な流れで一貫性のある根拠を生成するために、言語モデルに基づく正則化子を導入し、感情分析および法的判断タスクにおける予測精度を損なわずに、根拠の正確性と再現率を顕著に向上させる。

ABSTRACT

Explaining the predictions of AI models is paramount in safety-critical applications, such as in legal or medical domains. One form of explanation for a prediction is an extractive rationale, i.e., a subset of features of an instance that lead the model to give its prediction on the instance. Previous works on generating extractive rationales usually employ a two-phase model: a selector that selects the most important features (i.e., the rationale) followed by a predictor that makes the prediction based exclusively on the selected features. One disadvantage of these works is that the main signal for learning to select features comes from the comparison of the answers given by the predictor and the ground-truth answers. In this work, we propose to squeeze more information from the predictor via an information calibration method. More precisely, we train two models jointly: one is a typical neural model that solves the task at hand in an accurate but black-box manner, and the other is a selector-predictor model that additionally produces a rationale for its prediction. The first model is used as a guide to the second model. We use an adversarial-based technique to calibrate the information extracted by the two models such that the difference between them is an indicator of the missed or over-selected features. In addition, for natural language tasks, we propose to use a language-model-based regularizer to encourage the extraction of fluent rationales. Experimental results on a sentiment analysis task as well as on three tasks from the legal domain show the effectiveness of our approach to rationale extraction.

研究の動機と目的

• 医療や法的分野など、安全性が求められる分野におけるブラックボックス神経ネットワークモデルの信頼性と解釈可能性を向上させること。
• 従来の選択子予測モデルが、根拠選択の学習信号として予測精度のみに依存するという限界を解消すること。
• 優れた性能を示す「ガイド」モデルからの情報を活用することで、最適な根拠選択のための探索空間を縮小すること。
• 抽出された根拠が意味的に自然で一貫性を持つように保証し、隣接するトークンの任意選択を回避すること。
• 敵対的キャリブレーションと言語モデリングを統合することで、根拠の質と予測性能を同時に最適化する手法を開発すること。

提案手法

• タスクの高精度なブラックボックス基準としての「ガイド」モデルを訓練する。このモデルは解釈可能である必要はない。
• 特徴量を選択し、それらに基づいて予測を行う選択子予測モデルを訓練する。別個の根拠出力が存在する。
• ガイドモデルと選択子予測モデルの最終表現ベクトルの一致を図るために、敵対的情報キャリブレーション技術を用いる。両者の乖離を最小化する。
• 両モデルに情報ボトルネック技術を適用し、最小限の必要な情報のみを保持させることで、簡潔な根拠を促進する。
• 選択されたトークンが自然で連続する部分表現を形成するよう促すために、言語モデルに基づく正則化子を導入する。これは、根拠シーケンスの尤度をモデル化することで実現する。
• 識別子が2つのモデルの表現を区別できるようにするように、勾配ベースの学習を用いて、システム全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスのガイドモデルと選択子予測モデルとの間で敵対的キャリブレーションを実施することで、予測精度のみに依存する場合よりも、根拠の質が向上するか？
• RQ2 言語モデル正則化子を組み込むことで、NLPタスクにおける抽出された根拠の流れのなめらかさと一貫性はどのように変化するか？
• RQ3 提案手法は、最先端のベースラインと比較して、根拠抽出の正確性と再現率をどの程度向上させるか？
• RQ4 本手法は、感情分析や法的判断予測など、異なる分野に一般化可能か。また、高い予測精度を維持できるか？
• RQ5 情報ボトルネック部は、根拠における過学習や不要な特徴選択を効果的に低減できるか？

主な発見

• 提案手法は、感情分析および法的判断タスクの両方で、従来の最先端モデルと比較して、根拠抽出の性能を顕著に向上させた。
• 言語モデルに基づく正則化子は、孤立したまたは非連続なトークンの選択を抑制することで、自然で一貫性のある根拠の生成を効果的に促進した。
• 敵対的情報キャリブレーションにより、ガイドモデルの高品質な表現を活用することで、選択子予測モデルはより正確で関連性の高い特徴選択を学習できた。
• 本手法は、予測精度を維持あるいは向上させながら、同時に解釈可能性を高めた。性能と説明可能性の間のトレードオフを強く緩和した。
• 法的判断タスクにおける人間評価では、本手法で生成された根拠が、ベースラインモデルのものよりも意味的に意味があり、人間がアノテートした根拠に近いことが確認された。
• アブレーションスタディの結果、敵対的キャリブレーションと言語モデル正則化子の両方が、全体の性能向上に顕著な貢献をした。