[論文レビュー] Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs

Leonardo F. R. Ribeiro, Yue Zhang+2 more|arXiv (Cornell University)|Jan 29, 2020

Topic Modeling参考文献 48被引用数 65

ひとこと要約

この論文は、Graph Attention Networks を用いてグローバルとローカルのノード文脈を統合した統一的な graph-to-text モデルを提案し、CGE-CGE-LW バリアントで AGENDA および WebNLG で BLEU の最先端を達成します。

ABSTRACT

Recent graph-to-text models generate text from graph-based data using either\nglobal or local aggregation to learn node representations. Global node encoding\nallows explicit communication between two distant nodes, thereby neglecting\ngraph topology as all nodes are directly connected. In contrast, local node\nencoding considers the relations between neighbor nodes capturing the graph\nstructure, but it can fail to capture long-range relations. In this work, we\ngather both encoding strategies, proposing novel neural models which encode an\ninput graph combining both global and local node contexts, in order to learn\nbetter contextualized node embeddings. In our experiments, we demonstrate that\nour approaches lead to significant improvements on two graph-to-text datasets\nachieving BLEU scores of 18.01 on AGENDA dataset, and 63.69 on the WebNLG\ndataset for seen categories, outperforming state-of-the-art models by 3.7 and\n3.1 points, respectively.\n

研究の動機と目的

• グローバルノードエンコードとローカルノードエンコードのグラフ-to-text 生成における限界を調査する。
• グローバルおよびローカルのノード文脈を組み合わせて、よりリッチなノード埋め込みを学習する統一フレームワークを提案する。
• カスケード型とパラレル統合アーキテクチャを比較し、層ごとの統合を探究する。
• 提案モデルを AGENDA および WebNLG の KG-to-text ベンチマークで評価する。
• 性能を左右する主要な要素を特定するためのアブレーションを分析する。

提案手法

• 各 KG をトークンレベルのノードへ変換された多リレーショングラフとして表現する。
• グローバルエンコーダとして Graph Attention Networks (GAT) を、ローカルエンコーダとして関係ウェイトと GRU ベースの結合を実装する。
• 4 種類の統合アーキテクチャを提案: Parallel Graph Encoding (PGE)、Cascaded Graph Encoding (CGE)、Layer-Wise PGE (PGE-LW)、および Layer-Wise CGE (CGE-LW)。
• エンコーダ出力とこれまでに生成されたトークンに対して multi-head attention を行う Transformer に類似したデコーダを使用する。多文出力には長さペナルティを適用する。
• 負の対数尤度、ラベルスムージング、および Byte-Pair Encoding を用いて訓練する。ノードとターゲットトークン間で語彙を共有し、ハイパーパラメータを開発セットで調整する。

実験結果

リサーチクエスチョン

• RQ1 グローバルとローカルのノード文脈を組み合わせることは、単独使用よりも KG-to-text 生成を改善するか？
• RQ2 どの統合アーキテクチャ（PGE、CGE、PGE-LW、CGE-LW）がデータセット全体で最も性能が良いか？
• RQ3 グラフのサイズとトポロジーは、モデルの性能およびグローバル対ローカルのエンコーディングの相対的利点にどう影響するか？
• RQ4 Levi グラフ変換が WebNLG の結果に与える影響は何か？
• RQ5 アブレーションされた要素（グローバル/ローカルアテンション、GRU、関係ウェイト）は性能にどのように影響するか？

主な発見

モデル	BLEU	METEOR	CHRF++	パラメータ数（#P）
CGE	62.30	43.51	75.49	13.9
CGE (Levi Graph)	63.10	44.11	76.33	12.8
CGE-LW	62.85	43.75	75.73	11.2
CGE-LW (Levi Graph)	63.69	44.47	76.66	10.4

• CGE-LW は AGENDA で BLEU 18.01、WebNLG（seen categories）で 63.69 を達成し、ベースラインよりそれぞれ 3.7 ポイントと 3.1 ポイント BLEU で上回る。
• 局所エンコードとグローバルエンコードの組み合わせはベースラインより改善し、グローバル文脈は incomplete KG の分断したコンポーネントの学習を支援する。
• 層ごと統合（LW）バリアントは非 LW 構成よりしばしば上回り、カスケード型は一般に高い性能を示す。
• Levi グラフ変種は WebNLG の結果を改善する（63.69 BLEU、44.47 METEOR、76.66 CHRF++）。
• アブレーションにより、グローバルアテンションと FFN が性能に大きく寄与することが示され、ローカルアテンションまたはローカルエンコーダを削除すると BLEU が著しく低下する。
• WebNLG で Levi-グラフ入力による性能向上、一方 AGENDA は グローバル→ローカルの連携処理から恩恨を受ける。