[論文レビュー] Variational Recurrent Neural Networks for Graph Classification

Edouard Pineau, Nathan de Lara|arXiv (Cornell University)|Feb 7, 2019

Advanced Graph Neural Networks参考文献 24被引用数 3

ひとこと要約

本稿では、BFSに基づくノード順序付けとゲート付き再帰ユニット（GRU）を用いてグラフを逐次処理し、不変表現を学習する変分的再帰的グラフ分類器（VRGC）を提案する。構造的正則化のための新規な変分的自己回帰ブロックを導入し、4つの分子グラフデータセットで最先端性能を達成している。特にNCI1およびProteins Fullで優れた結果を示している。

ABSTRACT

We address the problem of graph classification based only on structural information. Inspired by natural language processing techniques (NLP), our model sequentially embeds information to estimate class membership probabilities. Besides, we experiment with NLP-like variational regularization techniques, making the model predict the next node in the sequence as it reads it. We experimentally show that our model achieves state-of-the-art classification results on several standard molecular datasets. Finally, we perform a qualitative analysis and give some insights on whether the node prediction helps the model better classify graphs.

研究の動機と目的

• 自然言語処理の系列モデリング技術を用いて、サイズが可変で順序に依存する入力のグラフ分類の課題に取り組むこと。
• ノードやエッジ属性に依存せずに、一般化性能と構造的表現学習を向上させること。
• 訓練中にノード接続性を予測することで、モデルが予測性能を向上させるかどうかを検証すること。
• 訓練およびテスト時にランダムなBFSルートを用いたデータ拡張により、ノードインデックスインヴァリアンスを達成すること。
• 標準的な分子ベンチマークにおける変分的自己回帰ブロックの貢献度を分類精度に照らして評価すること。

提案手法

• モデルは無向グラフのノードをランダムなBFS走査により再順序付けし、隣接行列をd次元のノード特徴ベクトルの系列に変換する。
• 各ノードの隣接ベクトルは、BFS順序における直前のd個のノードに制限され、次元を固定するためにゼロパディングが施される。
• GRUがノード埋め込みの系列を処理し、グラフ全体の構造的依存関係を捉える潜在表現を学習する。
• 最終隠れ状態を用いて、別個のGRUとソフトマックス分類器ヘッドがグラフクラス確率を予測し、交差エントロピー損失を用いる。
• 変分的自己回帰（VAR）ブロックを導入し、各ステップで次のノードの隣接ベクトルを予測することで、補助的な学習信号と正則化を提供する。
• 推論時、N個のランダムなBFSルートに対して予測を集約し、K回の実行におけるハードボイスを適用することで、予測の堅牢性と信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的な再帰的グラフ分類器と比較して、変分的自己回帰的正則化を組み込むことで、グラフ分類性能が向上するか？
• RQ2 ランダムなBFSに基づくノード順序付けが、ノードインデックスインヴァリアント表現の学習にどの程度寄与するか？
• RQ3 VARブロックの補助予測タスクが、分類のための学習された潜在表現の質にどのように影響するか？
• RQ4 ノードやエッジ属性を一切使用せずに、標準的な分子グラフベンチマークで最先端の結果を達成できるか？
• RQ5 BFSルートサンプリングによるデータ拡張とアンサンブル平均化の組み合わせが、一般化性能と予測信頼性を向上させるか？

主な発見

• VRGCモデルは、4つの標準的な分子グラフデータセットのうち3つで最先端の精度を達成した：Mutagで86.3%、Enzymesで48.4%、Proteins Fullで74.8%、NCI1で80.7%。
• NCI1データセットでは、以前の最先端手法（FGSDで79.8%）を上回り、80.7%の精度を達成した。
• 変分的自己回帰ブロックは、特にNCI1やProteins Fullといった大規模データセットで性能向上に寄与しており、構造的表現学習の向上を示唆している。
• データ拡張によるノードインデックスの不変性がモデルの堅牢性を示しており、推論時に複数回のBFS走査を実施することで、安定的かつ信頼性の高い予測が得られた。
• 定性的な分析から、異なるノード順序付け下での同じグラフに対応する潜在空間クラスタが、密で一貫性のあるグループを形成しており、効果的な不変性学習が実現されていることが示された。
• VARブロックの追加学習コストはわずかであり、グラフ分類における効率的な正則化手法であることがわかった。