[論文レビュー] SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning

Aaron Chan, Jiashu Xu+4 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling被引用数 5

ひとこと要約

この論文では、知識グラフ（KG）特徴のsalience解釈から学習するように訓練することで、常識的推論のための知識グラフ拡張モデルを向上させるSalKGというフレームワークを提案する。粗い（KGの有用性）および細かい（有用なノード/パス）解釈を同時に予測することで、SalKGは注意メカニズムを強化し、CSQAで最大2.76%の絶対的精度向上を達成する。

ABSTRACT

Augmenting pre-trained language models with knowledge graphs (KGs) has achieved success on various commonsense reasoning tasks. However, for a given task instance, the KG, or certain parts of the KG, may not be useful. Although KG-augmented models often use attention to focus on specific KG components, the KG is still always used, and the attention mechanism is never explicitly taught which KG components should be used. Meanwhile, saliency methods can measure how much a KG feature (e.g., graph, node, path) influences the model to make the correct prediction, thus explaining which KG features are useful. This paper explores how saliency explanations can be used to improve KG-augmented models' performance. First, we propose to create coarse (Is the KG useful?) and fine (Which nodes/paths in the KG are useful?) saliency explanations. Second, to motivate saliency-based supervision, we analyze oracle KG-augmented models which directly use saliency explanations as extra inputs for guiding their attention. Third, we propose SalKG, a framework for KG-augmented models to learn from coarse and/or fine saliency explanations. Given saliency explanations created from a task's training set, SalKG jointly trains the model to predict the explanations, then solve the task by attending to KG features highlighted by the predicted explanations. On three commonsense QA benchmarks (CSQA, OBQA, CODAH) and a range of KG-augmented models, we show that SalKG can yield considerable performance gains -- up to 2.76% absolute improvement on CSQA.

研究の動機と目的

• 知識グラフ（KG）拡張モデルが、常にKGを使用するが、実際にどの部分が有用であるかを学習しないという限界を解消すること。
• KG特徴の影響度を測るsalience解釈—予測に対するKG特徴の寄与度—が、モデルの注意メカニズムを改善するための有効な監視信号として機能するかを検討すること。
• salience解釈を予測し、それらを用いて常識的QAタスクにおける推論パフォーマンスを向上させるためのフレームワークを開発すること。
• 特に粗いおよび細かい粒度でのsalience解釈を併用することで、補完的信号として機能し、一般化性能とパフォーマンスを向上させることを示すこと。
• salienceに基づく監視が、誤ったKGパターンへの過剰適合を低減させ、多様な常識的推論ベンチマークにおいて堅牢性を向上させることを示すこと。

提案手法

• KG拡張モデルと非KG拡張モデルのパフォーマンス差を測定するアンサンブルベースの手法を用いて、粗いsalience解釈を提案する。
• 勾配ベース（例：G×I）やオクルージョンベースのアトリビューションをKGノードおよびパスに適用することで、細粒度のsalience解釈を生成する。
• モデルが粗いおよび細かいsalience解釈の両方を予測できるように訓練し、予測された解釈を用いてKG注意メカニズムをガイドする、SalKGという共同訓練フレームワークを導入する。
• 二値化されたsalienceスコアを注意メカニズムの監視ターゲットとして使用し、モデルが関連するKGコンponentsにのみ注目するように正則化する。
• 段階的な訓練パイプラインを採用する：(1) 訓練データ上でsalience解釈を生成し、(2) モデルをこれらの解釈を予測するように訓練し、(3) 予測された解釈に基づく注意を用いて、下流タスクで微調整する。
• 粗いのみ、細かいのみ、およびハイブリッド（粗い＋細かい）の監視をサポートし、各解釈タイプの寄与度を評価するアブレーションスタディを可能にする。

実験結果

リサーチクエスチョン

• RQ1 KG特徴のsalience解釈は、常識的推論におけるKG拡張モデルのパフォーマンス向上に有効な監視信号として機能するか？
• RQ2 粗い（KGの有用性）および細かい（有用なノード/パス）解釈を同時に予測する学習が、標準的なエンドツーエンド訓練よりも優れた一般化性能を達成するか？
• RQ3 粗いおよび細かいsalience解釈は、注意を誘導し、誤ったKGパターンへの過剰適合を低減する能力において、どのように比較されるか？
• RQ4 salience解釈を監視として用いることで、CSQA、OBQA、CODAHのような多様な常識的QAベンチマークにおけるモデルパフォーマンスにどのような影響を与えるか？
• RQ5 KGカバレッジが不完全またはノイズが多い状況でも、salienceベースの監視がデータ効率性およびモデルの堅牢性を向上させるか？

主な発見

• SalKGはCSQAベンチマークで最大2.76%の絶対的精度向上を達成し、ベースラインのKG拡張モデルに比べ顕著なパフォーマンス向上を示している。
• 粗いおよび細かいsalience解釈の組み合わせが最も高いパフォーマンス向上をもたらし、両者の補完的性質が注意を効果的に誘導していることを示している。
• OBQAおよびCODAHでも、SalKGは複数のKG拡張モデルアーキテクチャで一貫してパフォーマンスを向上させ、広範な適用可能性を示している。
• 真のsalience解釈を直接注意マスクとして使用するオラクルモデルは顕著なパフォーマンス向上を示しており、salienceベースの監視の潜在的可能性を裏付けている。
• 誤ったKGコンponentsに過剰適合するのを防ぐために、モデルにどのコンponentsが関連しているかを明示的に教えることで、未学習のインスタンスにおける一般化性能が向上している。
• salience解釈の生成に伴い訓練時間が延長されるが、そのパフォーマンス向上は計算コストを正当化しており、将来的な効率化のための最適化も可能である。