[論文レビュー] Saliency Learning: Teaching the Model Where to Pay Attention

Reza Ghaeini, Xiaoli Z. Fern+2 more|arXiv (Cornell University)|Feb 22, 2019

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 12

ひとこと要約

この論文は、勾配ベースのサリエンシー正則化を通じて、正解の説明アノテーションを損失関数に組み込むことで、深層ニューラルネットワークが関連する入力特徴に注目するように訓練する「サリエンシー学習」という手法を提案する。このアプローチにより、モデルの注目が望ましい証拠と一致するようになり、F1スコア、正答率、およびサリエンシー整合性の面で、標準的な訓練法よりもモデルの信頼性と性能が向上する。

ABSTRACT

Deep learning has emerged as a compelling solution to many NLP tasks with remarkable performances. However, due to their opacity, such models are hard to interpret and trust. Recent work on explaining deep models has introduced approaches to provide insights toward the model's behaviour and predictions, which are helpful for assessing the reliability of the model's predictions. However, such methods do not improve the model's reliability. In this paper, we aim to teach the model to make the right prediction for the right reason by providing explanation training and ensuring the alignment of the model's explanation with the ground truth explanation. Our experimental results on multiple tasks and datasets demonstrate the effectiveness of the proposed method, which produces more reliable predictions while delivering better results compared to traditionally trained models.

研究の動機と目的

• 深層学習モデルがデータ内の偶然的な統計的バイアスに依存するのを防ぎ、意味のある証拠に基づいて予測を行うこと。
• 予測が正しい理由でなされるように保証することで、モデルの解釈可能性と信頼性を向上させること。
• モデルの注目（サリエンシーを介して）を正解の説明アノテーションと一致させる訓練手法を開発すること。
• サリエンシー訓練済みモデルが、重要なアノテート済み入力部の変更に感受性が高いかどうかを検証すること。
• サリエンシー学習の有効性を複数のNLPタスクおよびデータセットで示すこと。

提案手法

• ハッチ損失を用いて、予測されたサリエンシーと正解の説明マスクの不一致をペナルティ化するサリエンシー正則化項を、モデルの損失関数に導入する。
• サリエンシーは、各単語について、入力埋め込みの全次元にわたって集約された、モデル出力に対する入力埋め込みの勾配として計算される。
• 各単語について、正解の説明マスク Z[i] = 1 であれば、モデルが正の勾配寄与を持つよう励ます。逆に、Z[i] = 0 であれば、勾配が正である場合にペナルティが課される。
• 正則化項は、すべての単語 i について λ × Σ max(0, -Z[i] × Σ_j ∂f_θ(X,y)/∂X_{i,j}) として定義され、λ は正則化の強度を制御する。
• このアプローチは、入力層だけでなく、深層ネットワークの中間層に対しても勾配ベースのサリエンシー正則化を拡張し、整合性と性能を向上させる。
• モデルがテキストの意味的に関連する部分に注目するよう訓練するために、模擬的な説明（例：イベントのトリガー語）を用いる。

実験結果

リサーチクエスチョン

• RQ1 説明アノテーションを訓練プロセスに組み込むことで、モデルの信頼性と性能が向上するか？
• RQ2 サリエンシー学習により、モデルの注目と望ましい説明の手がかりとの整合性が向上するか？
• RQ3 サリエンシー訓練済みモデルは、肯定例における重要なアノテート済み語の削除に対してより感受性が高いか？
• RQ4 F1スコア、正答率、およびサリエンシー正答率の観点で、サリエンシー学習は標準的な訓練法よりも優れているか？
• RQ5 入力層のみでなく中間層に対してもサリエンシー正則化を拡張することで、性能が向上するか？

主な発見

• サリエンシー訓練済みモデルは、ACE、ERE、CBT-NE、CBT-CN データセットにおいて、ベースラインモデルと比較して顕著に高いF1スコアと正答率を達成した。
• ACEデータセットでは、寄与要因となる語を削除した後の真正陽性率（TPR）が、32.6%低下したが、これは標準訓練モデルの40.9%の低下と比較して、より高い感受性を示しており、重要な入力部への感受性が高まっていることを確認した。
• 図表3の可視化により、サリエンシー訓練済みモデルが正解の説明と優れたサリエンシー整合性を示していることが明らかになった。
• すべての評価対象データセットで、精度、F1、正答率が向上し、特にCBT-NEおよびCBT-CNで最も顕著な向上が見られた。
• 検証実験により、サリエンシー訓練済みモデルが、アノテート済みの寄与要因となる語の変更に対して感受性が高く、望ましい注目メカニズムと強い整合性を持つことが確認された。
• このアプローチは、関連のないまたは否定的なアノテーションではなく、肯定的な証拠に注目することで、標準的な訓練法や従来の勾配ベース正則化手法を上回った。