[論文レビュー] Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph

Haozhe Ji, Pei Ke+4 more|arXiv (Cornell University)|Sep 24, 2020

Topic Modeling参考文献 36被引用数 5

ひとこと要約

本稿では、共通知識知識グラフ上で動的でマルチホップの推論を実行することで、明示的で根拠のある推論を用いて生成を向上させる、新しいテキスト生成モデルGRFを提案する。構造的および意味的情報を多関係的パスから活用することで、GRFは物語の続き、帰納的推論、説明生成のタスクにおいて強力なベースラインを上回り、学習された推論パスを通じて事実の整合性と解釈可能性が向上していることを示している。

ABSTRACT

Despite the success of generative pre-trained language models on a series of text generation tasks, they still suffer in cases where reasoning over underlying commonsense knowledge is required during generation. Existing approaches that integrate commonsense knowledge into generative pre-trained language models simply transfer relational knowledge by post-training on individual knowledge triples while ignoring rich connections within the knowledge graph. We argue that exploiting both the structural and semantic information of the knowledge graph facilitates commonsense-aware text generation. In this paper, we propose Generation with Multi-Hop Reasoning Flow (GRF) that enables pre-trained models with dynamic multi-hop reasoning on multi-relational paths extracted from the external commonsense knowledge graph. We empirically show that our model outperforms existing baselines on three text generation tasks that require reasoning over commonsense knowledge. We also demonstrate the effectiveness of the dynamic multi-hop reasoning module with reasoning paths inferred by the model that provide rationale to the generation.

研究の動機と目的

• 事前学習された言語モデルが、暗黙の共通知識を必要とするテキスト生成において限界を示す問題に対処すること。
• 既存の手法が共通知識を孤立した三項組として扱い、知識グラフ内の構造的つながりを無視するという欠点を克服すること。
• 関係的パスに沿って証拠を集約する動的マルチホップ推論メカニズムを設計し、根拠に基づいた概念生成を実現すること。
• 事前学習された言語モデルと知識グラフの構造的推論を統合することで、テキスト生成における事実の整合性と解釈可能性を向上させること。

提案手法

• モデルは、非パrametricな合成的演算を用いて多関係的知識グラフを符号化し、概念および関係のグラフに依存する表現を生成する。
• 動的マルチホップ推論モジュールは、複数の関係的パスに沿って証拠を集約し、文脈的関連性とパスの妥当性に基づいてノードをスコア化する。
• モジュールは、ハイパーパramータ γ によって制御される学習可能なゲート機構を用い、局所的および長距離の証拠の流れのバランスを取ることで、過剰なスムージングやパスの未利用を防ぐ。
• 生成ヘッドは、知識グラフからのコピービット確率と語彙語の確率をゲーティング機構を介して組み合わせ、正確な概念選択を可能にする。
• モデルは、物語の続き、帰納的生成、説明生成の3つの共通知識に配慮したテキスト生成タスクで、エンドツーエンドに微調整される。
• 推論パスは可視化され、モデルがマルチホップの証拠チェーンを通じて顕著な概念を選択する仕組みを示している。

実験結果

リサーチクエスチョン

• RQ1 構造的な共通知識知識グラフ上でマルチホップ推論を実行することで、単一三項組または知識なしのベースラインと比較して、テキスト生成における事実の整合性が向上するか？
• RQ2 関係的パスに沿った動的証拠集約が、文脈的および意味的に根拠のある概念の生成能力にどのように影響するか？
• RQ3 知識グラフからの構造的知識を統合することで、特に限られた学習データ下で一般化性能がどの程度向上するか？
• RQ4 モデルの推論パスが、その生成意思決定の有効な根拠（レゾナブル）として解釈可能か？
• RQ5 マルチホップ推論モジュールの情報フロー機構の設計が、性能にどの程度感度を示すか？

主な発見

• GRFは、テキストのみで微調整されたGPT-2や、OMCS三項組で再学習されたGPT-2を含む、強力なベースラインを3つの共通知識に配慮したテキスト生成タスクで上回った。
• モデルは、学習データ量が異なる状況でも一貫した性能向上を示し、知識グラフ統合による一般化性能の向上を実証した。
• マルチホップ推論モジュールにおいて、γ ≈ 0.5 が最適な性能を達成しており、局所的および長距離の証拠利用のバランスが取れていることを示している。
• 事例研究では、GRFが一般的または誤った出力と比較して、より具体的で文脈に適した概念（例：「気分が悪くなる」や「トウモロコシから作られる」）を生成していることが示された。
• 可視化された推論パスは、文脈的ヒントと関係の妥当性に基づいて、妥当な中間概念（例：「犬」に対して「飼う」を動詞として使用）を選択していることを示している。
• 人的評価により、GRFの出力は事実に基づいており意味的に整合性が高く、推論パスが重要な生成意思決定の解釈可能な根拠を提供していることが確認された。