[論文レビュー] Text Generation from Knowledge Graphs with Graph Transformers

Rik Koncel-Kedziorski, Dhanush Bekal+3 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 31被引用数 45

ひとこと要約

GraphWriter は、グラフ変換器エンコーダを用いて、自動抽出された知識グラフから複数文の科学的要約を生成し、いくつかのベースラインを上回ります。

ABSTRACT

Generating texts which express complex ideas spanning multiple sentences requires a structured representation of their content (document plan), but these representations are prohibitively expensive to manually produce. In this work, we address the problem of generating coherent multi-sentence texts from the output of an information extraction system, and in particular a knowledge graph. Graphical knowledge representations are ubiquitous in computing, but pose a significant challenge for text generation techniques due to their non-hierarchical nature, collapsing of long-distance dependencies, and structural variety. We introduce a novel graph transforming encoder which can leverage the relational structure of such knowledge graphs without imposing linearization or hierarchical constraints. Incorporated into an encoder-decoder setup, we provide an end-to-end trainable system for graph-to-text generation that we apply to the domain of scientific text. Automatic and human evaluations show that our technique produces more informative texts which exhibit better document structure than competitive encoder-decoder methods.

研究の動機と目的

• 自動抽出された知識グラフから、一貫した複数文テキストを生成する動機づけ。
• 線形化せずにグラフ構造をより活用するため、グラフ変換器ベースのエンコーダを提案します。
• エンコーダ-デコーダフレームワーク内で、エンドツーエンドで訓練可能なグラフ-テキスト生成を示します。
• グラフ-テキスト生成システムを評価するための、知識グラフと科学的要約を対にした新しいデータセット（AGENDA）を提供します。

提案手法

• 関係情報を保持しつつ、知識グラフを連結されたラベルなしグラフに変換します。
• グラフ近傍上のマルチヘッド自己注意とグローバルコンテキストを用いるグラフトランスフォーマーでグラフをエンコードします。
• 頂点（エンティティとリレーション）を埋め込み、グラフエンコード前にタイトルをBiRNNでエンコードします。
• グラフのエンティティや語彙語を挿入するためのコピー機構を用いたアテンションベースのデコーダでデコードします。
• ターゲットテキストとコピーされたエンティティに対するネガティブ対数尤度を最小化することでエンドツーエンドに訓練します。

実験結果

リサーチクエスチョン

• RQ1 グラフ変換器エンコーダは知識グラフの関係構造をテキスト生成に効果的に活用できるか？
• RQ2 グラフ構造とグローバルコンテキストを組み込むことは、表形式またはシーケンスベースのエンコーダよりも複数文生成を改善するか？
• RQ3 知識グラフからテキスト生成は、知識に依存しないベースラインと比較して情報量、整合性、文法の点でどのように比較されるか？

主な発見

モデル	BLEU	METEOR
GraphWriter	14.3 ± 1.01	18.8 ± 0.28
GAT	12.2 ± 0.44	17.2 ± 0.63
EntityWriter	10.38	16.53
Rewriter	1.05	8.38

• GraphWriter は自動評価指標（BLEU および METEOR）でベースラインを上回る。
• GraphWriter (14.3 ± 1.01 BLEU, 18.8 ± 0.28 METEOR) は GAT (12.2 ± 0.44 BLEU, 17.2 ± 0.63 METEOR) を上回る。
• 知識ベースの GraphWriter および Graph Attention Network の派生は、入力が少ないモデル（EntityWriter, Rewriter）を上回る。
• 人間評価は、GraphWriter が Rewriter より好まれることが多く、構造と文法が向上することを示す。条件によっては、いくつかの要約が情報量において人手作成のものを上回ることさえある。
• 推論の結果、知識グラフのエンティティのうち40%が生成テキストに反映されていないことが示され、今後の課題としてカバー率のギャップを示している。