[論文レビュー] Rethinking Cooperative Rationalization: Introspective Extraction and Complement Control

Mo Yu, Shiyu Chang+2 more|arXiv (Cornell University)|Oct 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 29被引用数 5

ひとこと要約

本稿では、ラベルに基づく通信による隠れた通信が原因で解釈不能になる協調的合理化モデルの欠陥に対処するため、自己認識的説明生成を組み込んだ三人称ゲーム理論フレームワークを提案する。予測から説明生成を分離し、制御機構を導入することで、説明の質を向上させるとともに、高い予測精度を維持する。テキスト分類タスクにおいて、より意味的でコン act な根拠を生成することで、最先端の性能を達成する。

ABSTRACT

Selective rationalization has become a common mechanism to ensure that predictive models reveal how they use any available features. The selection may be soft or hard, and identifies a subset of input features relevant for prediction. The setup can be viewed as a co-operate game between the selector (aka rationale generator) and the predictor making use of only the selected features. The co-operative setting may, however, be compromised for two reasons. First, the generator typically has no direct access to the outcome it aims to justify, resulting in poor performance. Second, there's typically no control exerted on the information left outside the selection. We revise the overall co-operative framework to address these challenges. We introduce an introspective model which explicitly predicts and incorporates the outcome into the selection process. Moreover, we explicitly control the rationale complement via an adversary so as not to leave any useful information out of the selection. We show that the two complementary mechanisms maintain both high predictive accuracy and lead to comprehensive rationales.

研究の動機と目的

• ラベルに基づく通信を利用した非効率的で解釈不能な根拠を生じる協調的合理化モデルの問題に対処すること。
• 自己説明可能なNLPモデルで、入力の全情報ではなく根拠を使用する際の性能低下を軽減すること。
• 根拠が予測に役立つだけでなく意味的に意味のあるものであることを保証するフレームワークを設計すること。
• 説明生成プロセスに自己認識を導入し、予測に関連する特徴をモデルが意識するようにすること。
• 限定的監視下での説明品質と耐性の向上を理論的および実験的に検証すること。

提案手法

• 抽出者、予測者、制御者という三人称ゲームを提案し、抽出者と予測者間の意図しないラベルに基づく通信をフィルタリングする。
• 抽出者が予測の予測に基づいて根拠を生成するよう促す自己認識メカニズムを導入する。
• ミニマックスゲーム構造を用いて一貫性を強制し、説明プロセスにおけるショートカット学習を防ぐ。
• 連続性およびスパarsity正則化を適用し、根拠がコンパクトかつ一貫性を持つようにする。
• 二段階のトレーニングプロセスを採用：共同学習の前に、抽出者を回帰ヘッドで事前学習させ、初期の根拠品質を向上させる。
• ハッチ損失を用いて根拠の長さを制約し、多様性と関連性を確保する。

実験結果

リサーチクエスチョン

• RQ1 三人称ゲームフレームワークは、協調的合理化における意図しないラベルに基づく通信を効果的に排除できるか？
• RQ2 自己認識的説明生成は、より意味的に意味的で予測に役立つ根拠を生み出すか？
• RQ3 本手法は、より短くコンパクトな根拠を生成しつつも、高い予測精度を維持できるか？
• RQ4 限定的監視下において、先行研究と比較して根拠の質とモデル性能の両面で優れているか？
• RQ5 抽出者の事前学習は、全体のフレームワークの耐性および性能をどの程度向上させるか？

主な発見

• 単一側面ビールレビュータスクにおいて、本手法は87.1%の精度を達成し、Lei2016の81.4%および+minimaxの82.9%を上回った。
• 関係分類タスクでは85.8%の精度に達し、Lei2016の74.6%および+minimaxの73.2%を顕著に上回った。
• 人間評価では、自己認識モデルの32%の根拠が「良い」と評価されたのに対し、Lei2016ではたった20%にとどまり、解釈性の向上が示された。
• 事前学習を施した場合、20%の選択された根拠において87.50%の精度を達成した一方、Lei2016は同じ条件下で83.88%に低下した。
• 強い連続性制約下でも高い性能を維持しており、有益で短いフレーズへの一般化能力が優れていることが示唆された。
• 自己認識フレームワークは、'no' や 'not' といった誤ったパターンへの依存を低減し、文脈的に関連性の高い根拠を生成した。