[論文レビュー] Graph2Seq: Graph to Sequence Learning with Attention-based Neural Networks

Kun Xu, Lingfei Wu+4 more|arXiv (Cornell University)|Apr 3, 2018

Topic Modeling参考文献 53被引用数 162

ひとこと要約

Graph2Seqは、双方向グラフエンコーダと注意機構ベースのデコーダを備えたエンドツーエンドのグラフからシーケンスへのモデルを提示し、bAbI、Shortest Path、WikiSQLを含むグラフ構造のシーケンスタスクで最先端の結果を達成します。エンコーダは指向性の近傍情報を集約し、注意機構付きRNNデコーダで使用されるグラフ埋め込みを生成します。

ABSTRACT

The celebrated Sequence to Sequence learning (Seq2Seq) technique and its numerous variants achieve excellent performance on many tasks. However, many machine learning tasks have inputs naturally represented as graphs; existing Seq2Seq models face a significant challenge in achieving accurate conversion from graph form to the appropriate sequence. To address this challenge, we introduce a novel general end-to-end graph-to-sequence neural encoder-decoder model that maps an input graph to a sequence of vectors and uses an attention-based LSTM method to decode the target sequence from these vectors. Our method first generates the node and graph embeddings using an improved graph-based neural network with a novel aggregation strategy to incorporate edge direction information in the node embeddings. We further introduce an attention mechanism that aligns node embeddings and the decoding sequence to better cope with large graphs. Experimental results on bAbI, Shortest Path, and Natural Language Generation tasks demonstrate that our model achieves state-of-the-art performance and significantly outperforms existing graph neural networks, Seq2Seq, and Tree2Seq models; using the proposed bi-directional node embedding aggregation strategy, the model can converge rapidly to the optimal performance.

研究の動機と目的

• グラフ入力をシーケンス出力へ写像する、一般的なエンドツーエンドのグラフ-シーケンスモデルを開発する。
• エッジの向きを取り入れた表現力のあるノードおよびグラフ埋め込みを学習する。
• グラフ表現と出力シーケンスを整合させる注意機構ベースのデコーディングを可能にする。

提案手法

• グラフエンコーダは、前および後ろの近傍をKホップまで集約する別々の集約子（平均、LSTM、プーリング）を用いて、双方向のノード埋め込みを学習します。
• 2つのグラフ埋め込み方式（プーリングベースとスーパーグノードを用いたノードベース）によって、ノード埋め込みからグラフレベルの表現を構築します。
• 注意機構ベースのRNNデコーダは、ノード埋め込み上で計算されたコンテキストベクターを用いてターゲットシーケンスを生成します。
• アラインメントモデルa(j)はデコーダ状態とノード埋め込みの間のスコアを算出し、デコーディングの注意重みを生成します。
• 訓練は入力グラフに対して正しい記述の条件付き対数確率を最大化します；推論時には幅5のビーム探索を使用します。
• モデルは拡張性のために他のグラフエンコーダ・デコーダ（例：GCNs、Tree/Set系の変種）と互換性があります。

実験結果

リサーチクエスチョン

• RQ1 一般的なエンコーダ-デコーダフレームワークは、多様なタスクにわたってグラフ構造化の入力をシーケンスへ効果的に翻訳できるか。
• RQ2 双方向でエッジを意識したグラフエンコーダは、特に大規模なグラフでグラフ-から-シーケンスの性能を改善するか。
• RQ3 ノード埋め込み上の注意は、グラフ-から-シーケンスタスクのデコード品質にどのような影響を与えるか。
• RQ4 異なるグラフ埋め込み戦略（プーリング対ノードベース）は、異なるグラフ構造で性能にどのような影響を与えるか。
• RQ5 Graph2SeqをSQL-to-English生成のような実世界のグラフ-から-シーケンスタスクに適用した場合、どのような利得が得られるか。

主な発見

• WikiSQLでは、Graph2Seqの派生はSeq2Seq、Tree2Seq、Graph2Seqのベースラインを上回り、Graph2Seq-PGEは38.97 BLEU-4を達成。
• 合成データとSPタスクでは、Graph2SeqはLSTMより高い精度を示し、GGS-NNおよびGCNに対して同等かそれ以上の性能を示す、特に大規模なグラフで。
• アブレーション研究は、DAG、DCG、SEQグラフ全てで注意が性能を大幅に向上させることを示す（改良率>=14.9%）。
• 平均集約とプーリングベースのグラフ埋め込みは一般的に強い結果を生み出し、双方向集約は大きいグラフで単一方向より性能を改善する。
• ホップ数を増やすとモデルの性能と収束が向上する一方、双方向の集約は最適性能に到達するのに必要なホップ数を減らす。