[論文レビュー] Graph-based Multi-hop Reasoning for Long Text Generation

Liang Zhao, Jingjing Xu+4 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 39被引用数 10

ひとこと要約

本稿では、一貫性のある長文生成のための意味的スケルトン経路を推論するために知識グラフに基づくマルチホップ推論を用いる二段階フレームワークであるマルチホップ推論生成（MRG）を提案する。文レベルの依存関係を解釈可能な経路で明示的にモデル化することで、物語、レビュー、製品説明生成のタスクにおいて、GPT-2 や知識強化モデルといった強力なベースラインを上回る一貫性、情報量、多様性を達成する。

ABSTRACT

Long text generation is an important but challenging task.The main problem lies in learning sentence-level semantic dependencies which traditional generative models often suffer from. To address this problem, we propose a Multi-hop Reasoning Generation (MRG) approach that incorporates multi-hop reasoning over a knowledge graph to learn semantic dependencies among sentences. MRG consists of twoparts, a graph-based multi-hop reasoning module and a path-aware sentence realization module. The reasoning module is responsible for searching skeleton paths from a knowledge graph to imitate the imagination process in the human writing for semantic transfer. Based on the inferred paths, the sentence realization module then generates a complete sentence. Unlike previous black-box models, MRG explicitly infers the skeleton path, which provides explanatory views tounderstand how the proposed model works. We conduct experiments on three representative tasks, including story generation, review generation, and product description generation. Automatic and manual evaluation show that our proposed method can generate more informative and coherentlong text than strong baselines, such as pre-trained models(e.g. GPT-2) and knowledge-enhanced models.

研究の動機と目的

• 長文生成における複雑な文レベルの意味的依存関係を学習する課題に対処すること。
• 自己回帰的または事前学習モデルで達成可能な範囲を超えて、生成された長文の一体性、情報量、多様性を向上させること。
• 意味的スケルトン経路を明示的に推論し公開することで、テキスト生成における解釈可能性を提供すること。
• 三項の暗黙的注意ではなく、知識グラフ上のマルチホップ推論を通じて効果的な知識統合を可能にすること。
• パス推論用の人的アノテーションデータが不足しているため、MRGのための自己教師あり学習法を開発すること。

提案手法

• モデルは、入力コンテキストからスケルトン経路を推論するために、知識グラフ内で隣接ノードを反復的に探索するグラフベースのマルチホップ推論モジュールを用いる。
• 推論モジュールは、各隣接ノードをターゲットコンセプト、中間コンセプト、その他のコンセプトとして分類し、意味的転送を表す経路を形成する。
• パスに依存する文実現モジュールは、推論されたスケルトン経路と以前のコンテキストに条件づけられた流暢な文を生成する。
• 人為的アノテーションパスを必要とせず、両モジュールの訓練のための疑似並列コーパスを構築する自己教師あり手法を採用する。
• 推論モジュールにおけるシーケンスモデリングと知識グラフ内でのノード分類を実行するために、BERTをバックボーンとして用いる。
• 経路推論の後に文生成を行う二段階プロセスとして、エンドツーエンドで訓練することで、意味的流れに対する明示的制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ上のマルチホップ推論は、自己回帰的モデルと比較して長文の一貫性と情報量を向上させることができるか？
• RQ2 ブラックボックスな注意メカニズムと比較して、明示的な経路推論はテキスト生成における解釈可能性をどのように向上させるか？
• RQ3 人的アノテーションのないパス推論のために、自己教師あり手法がマルチホップ推論生成器を効果的に学習できる程度はどの程度か？
• RQ4 推論と実現モジュールの分離は、誤差伝搬を低減させ、生成品質を向上させるか？
• RQ5 本モデルは、物語、レビュー、製品説明生成といった多様な長文生成タスクに一般化可能か？

主な発見

• MRGは、自動評価および人間評価の両方において、物語、レビュー、製品説明生成の3つの長文生成タスクで、GPT-2 や知識強化モデルといった強力なベースラインを顕著に上回る。
• 人間評価では、MRGが既存の手法よりも一貫性があり、情報量が多く、多様性に富んだテキストを生成しており、文間での意味的転送が向上していることが示された。
• モデルの明示的経路推論は、生成過程で意味的依存関係がどのように形成されるかを理解する手がかりを提供する解釈可能な推論トレースを提供する。
• ゴールスタンダードのパスアノテーションがなくても、自己教師あり事前学習戦略により意味的スケルトン経路を効果的に学習できることが示された。
• 特に知識豊富で論理的に構造化された出力を必要とするタスクにおいて、情報量と多様性の面で顕著な向上が達成された。
• パスに依存する実現モジュールは、推論された概念的経路に基づき、流暢で文脈に適した文を生成し、推論と生成の有効な統合を示している。