[論文レビュー] Knowledge-Grounded Self-Rationalization via Extractive and Natural Language Explanations

Bodhisattwa Prasad Majumder, Oana-Maria Camburu+2 more|arXiv (Cornell University)|Jun 25, 2021

Topic Modeling被引用数 6

ひとこと要約

本稿では、外部知識に根ざした抽出的根拠（ERs）と自然言語説明（NLEs）を統合し、両方の説明とタスクパフォーマンスを共同最適化する自己説明フレームワークであるRExCを提案する。RExCは、タスク精度と同等の水準を維持しながら、ERおよびNLEの両方の品質で最先端（SOTA）のパフォーマンスを達成し、根拠やスニペットに対する直接的教師信号を必要とせずに忠実で知識に基づいた説明を提示する。

ABSTRACT

Models that generate extractive rationales (i.e., subsets of features) or natural language explanations (NLEs) for their predictions are important for explainable AI. While an extractive rationale provides a quick view of the features most responsible for a prediction, an NLE allows for a comprehensive description of the decision-making process behind a prediction. However, current models that generate the best extractive rationales or NLEs often fall behind the state-of-the-art (SOTA) in terms of task performance. In this work, we bridge this gap by introducing RExC, a self-rationalizing framework that grounds its predictions and two complementary types of explanations (NLEs and extractive rationales) in background knowledge. Our framework improves over previous methods by: (i) reaching SOTA task performance while also providing explanations, (ii) providing two types of explanations, while existing models usually provide only one type, and (iii) beating by a large margin the previous SOTA in terms of quality of both types of explanations. Furthermore, a perturbation analysis in RExC shows a high degree of association between explanations and predictions, a necessary property of faithful explanations.

研究の動機と目的

• 自己説明モデルにおけるパフォーマンスと説明可能性のトレードオフを解消するため、説明生成に背景知識を統合すること。
• 従来のモデルが1種類の説明しか生成しないという制限を克服し、高品質な抽出的根拠（ERs）と自然言語説明（NLEs）を共同で生成すること。
• 共通の知識などの外部知識リソースに説明を根ざさせることで、説明の忠実性と妥当性を向上させること。
• NLEの教師信号がなくても、選択された知識スニペットを暗黙の説明として活用することで、ゼロショットNLE生成を可能にすること。
• タスクパフォーマンスと説明可能性のギャップを埋め、両方の分野で最先端の結果を達成すること。

提案手法

• RExCは、まず入力特徴量に対する二値の潜在変数を用いて抽出的根拠（ERs）を選択する統一フレームワークを採用する。
• 次に、選択されたERsを用いて外部知識リソースを照会し、関連する知識スニペットを取得する。
• スニペット選択モジュールが予測タスクに対する関連性に基づいて最も適切な知識スニペットを選択する。
• 選択されたスニペットが自然言語説明（NLE）生成器に渡され、人間が読みやすい正当化を生成する。
• 生成されたNLEは最終予測器の入力として使用され、予測を出力する。すべてのモジュールは変分学習を用いて共同で訓練される。
• このフレームワークは、最終予測とNLEの教師信号のみを用いてエンドツーエンドで訓練され、ERやスニペット選択に対する直接的教師信号は不要である。

実験結果

リサーチクエスチョン

• RQ1 自己説明モデルは、タスクパフォーマンスを最先端レベルに保ちながら、抽出的根拠と自然言語説明を共同で生成可能か？
• RQ2 外部知識に根ざした説明は、自己説明モデルにおける説明の品質と忠実性を向上させるか？
• RQ3 選択された知識スニペットを暗黙の説明として活用することで、ゼロショット設定でも高品質な自然言語説明を生成可能か？
• RQ4 モデルはどのようにして説明が自身の意思決定プロセスに忠実であることを保証するか？
• RQ5 知識に基づいた自己説明は、従来のモデルで見られたパフォーマンスと説明可能性のギャップを埋められるか？

主な発見

• RExCは、自然言語およびビジョン・ランゲージ分野の5つのタスクにおいて、抽出的根拠と自然言語説明の両方の品質で最先端のパフォーマンスを達成した。
• RExCは、下流タスクにおいて最も強力な非説明可能なモデルと同等のパフォーマンスを示し、パフォーマンスと説明可能性のギャップを効果的に解消した。
• RExCは、NLEおよびERの両方の品質で、以前のSOTAモデルを顕著に上回り、優れた説明の整合性（fidelity）を示した。
• 摂動解析により、RExCの説明が非常に忠実であることが確認され、説明と予測の間の強い関連性が示された。
• ゼロショットNLE生成を実現するRExC-ZSは、競争力のあるパフォーマンスを達成し、一部のタスクでは完全なNLE教師信号で訓練されたモデルを上回ることもあった。
• フレームワークは、スニペットに対する直接的教師信号がなくても、関連する知識スニペットを適切に選択する能力を学習できており、リソースが限られた環境でも効果的な説明生成が可能であることが示された。