[論文レビュー] Modeling Graph Structure via Relative Position for Better Text Generation from Knowledge Graphs

|arXiv (Cornell University)|Jun 16, 2020

Topic Modeling参考文献 38被引用数 8

ひとこと要約

Graformerは、最短経路距離を用いてノード関係をモデル化することで、知識グラフ内のグローバル構造的パターンを捉える相対的位置に敏感なグラフ自己注意機構を備えた、グラフからテキストを生成するための新しいTransformerベースのエンコーダデコーダモデルである。従来の手法よりも顕著に少ないパラメータで、AGENDAおよびWebNLGベンチマークで最先端の性能を達成している。

ABSTRACT

We present a novel encoder-decoder architecture for graph-to-text generation based on Transformer, called the Graformer. With our novel graph self-attention, every node in the input graph is taken into account for the encoding of every other node - not only direct neighbors, facilitating the detection of global patterns. For this, the relation between any two nodes is characterized by the length of the shortest path between them, including the special case when there is no such path. The Graformer learns to weigh these node-node relations differently for different attention heads, thus virtually learning differently connected views of the input graph. We evaluate the Graformer on two graph-to-text generation benchmarks, the AGENDA dataset and the WebNLG challenge dataset, where it achieves strong performance while using significantly less parameters than other approaches.

研究の動機と目的

• 既存のグラフからテキストへの変換モデルにおける局所的受容 field の制限を克服し、注意機構にグローバル構造的認識を組み込むこと。
• ノード関係を最短経路距離を用いてモデル化することで、知識グラフからのテキスト生成品質を向上させること、非連結ノードを含むこと。
• パラメータの増加を伴わずに、注意ヘッドを通じて複数の異なる接続構造を持つグラフビューを学習することで、モデルの複雑さを低減すること。
• 既存の手法と比較して、より効率的なアーキテクチャを用いて、グラフからテキストへのベンチマークで競争力のある性能を達成すること。

提案手法

• Graformerは、各ノードの表現に直接の隣接ノードだけでなく、入力グラフ内のすべてのノードを考慮するグラフ自己注意機構を導入している。
• ノード間の関係は、それらの間の最短経路の長さを用いて符号化され、非連結ノードには無限距離を割り当てている。
• 注意ヘッドはこれらの経路ベースの関係を異なる重みで学習し、アーキテクチャの拡張なしに複数のグラフビューを効果的に学習している。
• 標準のTransformerエンコーダデコーダフレームワークを採用しているが、標準の自己注意機構の代わりに、提案されたグラフ自己注意機構を用いている。
• 相対的位置符号化は最短経路距離から導出されており、これによりモデルは構造的階層と接続パターンを捉えることができる。

実験結果

リサーチクエスチョン

• RQ1 ノード関係を最短経路距離を用いてモデル化することで、グラフからテキストへの生成におけるグローバル構造的認識が向上するか？
• RQ2 注意ヘッドを通じて複数の異なる重み付けされたグラフビューを学習することで、生成品質が向上するか？
• RQ3 より効率的な注意機構により、パラメータ数を削減しながら性能を維持または向上させられるか？
• RQ4 標準ベンチマークにおいて、Graformerは既存の手法と比較して生成品質およびパラメータ効率の点でどのように差をつけるか？

主な発見

• Graformerは、AGENDAおよびWebNLGのグラフからテキストへの生成ベンチマークで最先端の性能を達成した。
• 顕著に少ないパラメータで運用しながら、自動評価指標において既存の手法を上回った。
• 最短経路距離を用いたグローバルグラフ構造の捉え方のおかげで、生成テキストの事実的整合性と一貫性が向上した。
• 経路ベースの相対的位置符号化の導入により、構造的に関連するノードペアに注意を的確に集中させられるようになった。