[論文レビュー] Graph2Seq: Scalable Learning Dynamics for Graphs

Shaileshh Bojja Venkatakrishnan, Mohammad Alizadeh+1 more|arXiv (Cornell University)|Feb 14, 2018

Advanced Graph Neural Networks参考文献 51被引用数 8

ひとこと要約

Graph2Seqは、頂点を無限時間系列の隠れ状態としてモデル化することで、任意のサイズおよびトポロジのグラフに自然に一般化可能なスケーラブルなグラフ表現学習フレームワークを提案する。グラフ畳み込み特徴量上に順序系列RNNアーキテクチャを活用することで、最小頂点被覆、最大カット、最大独立集合といった組合せ最適化問題において最先端の性能を達成し、25,000頂点までスケーラビリティを発揮するとともに、グラフタイプ間でのゼロショット一般化を実現する。

ABSTRACT

Neural networks have been shown to be an effective tool for learning algorithms over graph-structured data. However, graph representation techniques---that convert graphs to real-valued vectors for use with neural networks---are still in their infancy. Recent works have proposed several approaches (e.g., graph convolutional networks), but these methods have difficulty scaling and generalizing to graphs with different sizes and shapes. We present Graph2Seq, a new technique that represents vertices of graphs as infinite time-series. By not limiting the representation to a fixed dimension, Graph2Seq scales naturally to graphs of arbitrary sizes and shapes. Graph2Seq is also reversible, allowing full recovery of the graph structure from the sequences. By analyzing a formal computational model for graph representation, we show that an unbounded sequence is necessary for scalability. Our experimental results with Graph2Seq show strong generalization and new state-of-the-art performance on a variety of graph combinatorial optimization problems.

研究の動機と目的

• 大規模または多様なグラフにスケーリングできない固定次元グラフ表現の顕著な制限を克服する。
• 類似サイズのグラフで訓練・テストされた従来のGCNNの一般化性能の低さを克服する。
• 著しく異なるグラフサイズおよびトポロジに一般化可能なエンドツーエンドのグラフアルゴリズム学習を可能にする。
• 完全な構造的回復を頂点シーケンスから可能にする、可逆的かつ情報損失のないグラフ表現を開発する。
• 固定長表現の理論的限界を明確にするために、先行するGCNN手法を共通の計算モデル（ローカル集約）に統合する。

提案手法

• 各頂点を連続するグラフ畳み込み層によって生成される隠れ状態の時間系列として表現し、固定次元制約を回避する。
• 進化する頂点表現を処理するための順序系列RNN（G2S-RNN）を用い、強化学習により意思決定ポリシーを学習する。
• 無限長のシーケンス長を活用して受容 field のサイズを動的に調整し、各頂点の周囲の直径が増加する部分グラフを捉える。
• Graph2Seqをローカル集約計算モデルに形式化し、固定長表現が特定のグラフ関数を計算できないことを証明する。
• 強化学習フレームワークにQ関数を導入し、Q1は全頂点で共有され、Q2(v)は頂点固有となるように設計し、最適な頂点被覆候補の二値分類を可能にする。
• カリキュラム学習と敵対的訓練を組み合わせた勾配ベース最適化により、グラフ族間での一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 15～20のサイズのグラフで訓練されたGNNが、3,200～25,000頂点の著しく大きなサイズおよび異なるトポロジのグラフに一般化可能か？
• RQ2 スケーラブルかつ可逆的であり、元のグラフ構造を完全に再構築可能なグラフ表現を設計可能か？
• RQ3 固定長グラフ表現が複雑なグラフ関数を捉える理論的限界は何か？Graph2Seqはこの限界をどのように克服するか？
• RQ4 Graph2Seqにおける頂点状態ベクトルの時間的ダイナミクスはどのように変化するか？主成分から何らかの意味的解釈を導けるか？
• RQ5 強化学習ポリシーネットワークのQ関数が最初の層で最適解を特定可能か？訓練が進行するに従い、モデルは正しい解に収束するか？

主な発見

• 15～20のサイズのグラフで訓練されたG2S-RNNモデルは、3,200のサイズに一般化可能であり、25,000頂点までスケーリング可能で、一貫した性能を示す。
• モデルはグラフタイプ間で一般化可能である：エルドシュ＝レニーiグラフでの性能は、再訓練なしにランダム正則グラフおよび二部グラフへも伝播する。
• Graph2Seqは最小頂点被覆、最大カット、最大独立集合の問題において最先端の性能を達成し、先行するGCNNおよびグラフカーネルベースラインを上回る。
• 最初の層でのQ関数は、二値のQ2(v)値により最適な頂点被覆をすでに特定可能である。
• 頂点状態の主成分分析により、主要方向の収束と頂点の接続性との整合性が示され、意味的解釈可能性が示唆される。
• 最適な層数はグラフタイプに依存する—例えばランダムグラフでは4～5層、最悪ケースの貪欲法インスタンスでは15層—可変長シーケンスが固定深さモデルに比べて優位であることを示す。