[論文レビュー] JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering

Yueqing Sun, Qi Shi+2 more|arXiv (Cornell University)|Dec 6, 2021

Topic Modeling被引用数 8

ひとこと要約

JointLKは、言語モデル（LM）と知識グラフ（KG）の表現を密度的な双方向アテンションによって動的に統合する共同推論フレームワークを提案する。これにより、複数ステップにわたる相互作用と、不要なKGノードの再帰的除去が可能となり、CommonsenseQAおよびOpenBookQAで最先端の性能を達成する。微細な統合とノイズ低減により、推論の正確性と解釈可能性が向上する。

ABSTRACT

Existing KG-augmented models for commonsense question answering primarily focus on designing elaborate Graph Neural Networks (GNNs) to model knowledge graphs (KGs). However, they ignore (i) the effectively fusing and reasoning over question context representations and the KG representations, and (ii) automatically selecting relevant nodes from the noisy KGs during reasoning. In this paper, we propose a novel model, JointLK, which solves the above limitations through the joint reasoning of LM and GNN and the dynamic KGs pruning mechanism. Specifically, JointLK performs joint reasoning between LM and GNN through a novel dense bidirectional attention module, in which each question token attends on KG nodes and each KG node attends on question tokens, and the two modal representations fuse and update mutually by multi-step interactions. Then, the dynamic pruning module uses the attention weights generated by joint reasoning to prune irrelevant KG nodes recursively. We evaluate JointLK on the CommonsenseQA and OpenBookQA datasets, and demonstrate its improvements to the existing LM and LM+KG models, as well as its capability to perform interpretable reasoning.

研究の動機と目的

• 既存のKG拡張QAモデルにおける言語モデルと知識グラフの間の相互作用が限定的であるという問題に取り組む。
• 推論中に取得された知識サブグラフ内のノイズが多く、関連のないノードが存在するという課題を克服する。
• 質問文脈とKG表現の微細な、複数ステップにわたる統合を可能にし、推論を向上させる。
• 共同推論からのアテンション重みに基づいて、再帰的に不要なノードを削除する動的プルーニング機構を開発する。
• 否定や複数エンティティを含む複雑なQAシナリオにおいて、より正確で解釈可能な常識的推論を実現する。

提案手法

• JointLKは、各質問トークンがKGノードに注目でき、各KGノードが質問トークンに注目できる密度的な双方向アテンションを持つ共同推論モジュールを採用し、相互の表現更新を可能にする。
• 複数のJointLK層を積み重ねることで、言語表現と知識表現の間で階層的で複数ステップにわたる相互作用をサポートする。
• 動的グラフプルーニングモジュールは、共同推論プロセスからアテンション重みが低いKGノードを再帰的に削除し、ノイズを低減して関連する証拠に集中させる。
• フレームワークは、質問の符号化に事前学習済み言語モデルを、知識グラフの符号化にGNNを用い、その後クロスモーダル統合を行う。
• 共同推論中に生成されるアテンション重みは、表現の最適化とプルーニング意思決定の両方をガイドする。
• 最終的な予測は、複数層にわたる相互作用とプルーニング後に得られる統合表現から計算されるスカラーの妥当性スコアである。

実験結果

リサーチクエスチョン

• RQ1 言語モデルと知識グラフの間の共同推論が、モダリティを別々にモデル化するのとは異なり、常識的QAの性能を向上させることができるか？
• RQ2 ノイズの多い知識サブグラフにおいて、推論中に不要なノードを効果的に特定・削除することで、モデルのロバスト性を向上させられるか？
• RQ3 質問とKG表現の間で複数ステップにわたる双方向相互作用が、否定や複数エンティティを含む複雑な質問の推論をどの程度向上させるか？
• RQ4 共同推論から得られるアテンションメカニズムが、モデルの予測に対する解釈可能な証拠パスを提供できるか？
• RQ5 KGノードの動的プルーニングは、静的サブグラフモデルと比較して、より正確で焦点の当たった推論を実現するか？

主な発見

• JointLKは、CommonsenseQAおよびOpenBookQAで最先端の性能を達成し、単体の言語モデルや既存のLM+KG手法を上回る。
• より深いクロスモーダル相互作用のおかげで、否定を含む質問や複数エンティティを含む質問といった複雑な推論タスクでも優れた性能を示す。
• 動的プルーニングにより、アテンション重みに基づいて再帰的に不要なノードを削除することで、知識サブグラフ内のノイズが低減され、推論の焦点が高まる。
• 共同推論中に生成されるアテンションマップは、解釈可能な証拠パスを提供し、モデルの透明性とトレーサビリティを向上させる。
• 誤差解析の結果、必要な知識が欠落していることや、選択肢が曖昧であることが主な失敗要因であることが判明し、より包括的かつ文脈に敏感な知識ベースの必要性が浮き彫りになった。
• アブレーションスタディの結果、共同推論と動的プルーニングの両方が不可欠であることが確認され、いずれかを除去すると性能が著しく低下することがわかった。