[論文レビュー] Learning Graph-Level Representations with Recurrent Neural Networks

Yu Jin, Joseph F. JáJá|arXiv (Cornell University)|May 20, 2018

Advanced Graph Neural Networks参考文献 35被引用数 9

ひとこと要約

本稿では、Gumbel-Softmaxを用いた微分可能なランダムウォークベースのノードシーケンスサンプリングと、教師なしノード埋め込みを組み合わせることで、長距離依存関係を捉えることができるRNNを活用した、新しいグラフレベル表現学習フレームワークであるGraphLSTMを提案する。この手法は、バックプロパゲーションを用いてノード表現とシーケンスサンプリングを同時に最適化することで、ベンチマークグラフデータセットにおいて最先端または優れた分類精度と高速な収束を達成する。

ABSTRACT

Recently a variety of methods have been developed to encode graphs into low-dimensional vectors that can be easily exploited by machine learning algorithms. The majority of these methods start by embedding the graph nodes into a low-dimensional vector space, followed by using some scheme to aggregate the node embeddings. In this work, we develop a new approach to learn graph-level representations, which includes a combination of unsupervised and supervised learning components. We start by learning a set of node representations in an unsupervised fashion. Graph nodes are mapped into node sequences sampled from random walk approaches approximated by the Gumbel-Softmax distribution. Recurrent neural network (RNN) units are modified to accommodate both the node representations as well as their neighborhood information. Experiments on standard graph classification benchmarks demonstrate that our proposed approach achieves superior or comparable performance relative to the state-of-the-art algorithms in terms of convergence speed and classification accuracy. We further illustrate the effectiveness of the different components used by our approach.

研究の動機と目的

• 機械学習タスクにおけるサイズが可変なグラフのための効果的で一般化可能なグラフレベル表現を学習する課題に対処すること。
• 教師ありシーケンスモデリングとしてのRNNを用いて、教師なしノード表現学習と統合することで、分類性能を向上させること。
• バックプロパゲーションを用いてノード埋め込みとノードシーケンスサンプリングを同時に最適化できる微分可能なフレームワークを開発すること。
• ノード表現の品質とノードシーケンスの順序がグラフ表現学習に与える影響を調査すること。
• 既存の最先端手法よりも、グラフ分類精度と収束速度の両面で優れるようにすること。

提案手法

• ノード特徴量と局所的グラフ構造を組み合わせた、連続的バッグオブワーズ（CBOW）にインspiredされた方法を用いて、ノード表現を教師なしで学習する。
• パラメータ化されたランダムウォークプロセスを用いてノードをシーケンスにマッピングし、Gumbel-Softmax分布を用いて近似することで、微分可能なサンプリングを実現する。
• アーキテクチャの変更を通じて近隣情報を取り込むことで、LSTMユニットを変更したRNNアーキテクチャがノード埋め込みのシーケンスを処理する。
• グラフラベルの教師あり分類目的を用いて、RNNとランダムウォークのパラメータをバックプロパゲーションにより共同で学習する。
• 事前に学習されたノード埋め込みからの局所的構造情報と、サンプリングされたシーケンスを介して捉えた長距離依存関係をモデルが統合する。
• ノード埋め込みとシーケンスサンプリングを含む、パイプライン全体がエンドツーエンド微分可能であり、すべてのコンponentsを同時に最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 可変サイズのグラフから効果的にグラフレベル表現を学習できる、微分可能なRNNベースのフレームワークは実現可能か？
• RQ2 構造と特徴量から学習されたノード埋め込みの品質は、その後続のグラフ分類にどのように影響するか？
• RQ3 Gumbel-Softmaxを用いたパラメータ化されたランダムウォークサンプリングは、BFS や DFS のような固定順序手法に比べて表現学習を向上させるか？
• RQ4 ノードのシーケンス順序がRNNベースのグラフモデルの性能に及ぼす影響はどの程度か？
• RQ5 ノード埋め込みとシーケンスサンプリングの共同最適化は、既存の最先端手法よりも収束が速く、精度が高くなるか？

主な発見

• GraphLSTMは、ENZYMES や MUTAG を含む5つのベンチマークデータセットで、最先端または優れた分類精度を達成した。
• ENZYMES および MUTAG データセットにおいて、GraphLSTMはDE-MFベースラインと比較して著しく高速に収束し、トレーニング効率の向上を示した。
• ノード特徴量とグラフ構造を両方ともに符号化した事前学習済みノード埋め込みは、生の one-hot またはランダム初期化された埋め込みよりも大幅に優れた性能を示した。
• Gumbel-Softmaxを用いたパラメータ化されたランダムウォークは、BFS や DFS やランダム順列の固定順序手法よりも高い分類精度を達成した。
• ノードのランダム順列は最も悪い性能を示し、シーケンス内で構造的近接性を保持することが、効果的な表現学習にとって不可欠であることを示した。
• アブレーションスタディにより、ノード表現の品質とシーケンスサンプリング戦略の両方が、全体のモデル性能にとって極めて重要であることが確認された。