[論文レビュー] Graph Classification via Deep Learning with Virtual Nodes

Trang Pham, Truyen Tran+2 more|arXiv (Cornell University)|Aug 14, 2017

Machine Learning in Materials Science参考文献 16被引用数 7

ひとこと要約

本稿では、すべての実ノードに接続された仮想ノードを追加することでグラフ表現を向上させる、仮想ノードネットワーク（VCN）を提案する。VCNは、カラムネットワークアーキテクチャを用いてエンド・ツー・エンド学習を可能にする。VCNは、バイオアクティビティ予測およびソフトウェア脆弱性検出の両タスクで最先端の性能を達成し、AUCおよびF1スコアの両面で既存のベースラインを上回っている。

ABSTRACT

Learning representation for graph classification turns a variable-size graph into a fixed-size vector (or matrix). Such a representation works nicely with algebraic manipulations. Here we introduce a simple method to augment an attributed graph with a virtual node that is bidirectionally connected to all existing nodes. The virtual node represents the latent aspects of the graph, which are not immediately available from the attributes and local connectivity structures. The expanded graph is then put through any node representation method. The representation of the virtual node is then the representation of the entire graph. In this paper, we use the recently introduced Column Network for the expanded graph, resulting in a new end-to-end graph classification model dubbed Virtual Column Network (VCN). The model is validated on two tasks: (i) predicting bio-activity of chemical compounds, and (ii) finding software vulnerability from source code. Results demonstrate that VCN is competitive against well-established rivals.

研究の動機と目的

• 複雑で不規則な構造を示す可変サイズの属性付きグラフに対する固定サイズのグラフ表現を学習する課題に対処すること。
• ノード属性や局所的接続性に直接含まれないグローバルなグラフレベル特徴を捉えることで、グラフ分類性能を向上させること。
• 手動で設計された特徴量やカーネル法に依存せずに、ノードおよびグラフ表現を同時に学習するエンド・ツー・エンドのディープラーニングフレームワークを構築すること。
• 化学およびソフトウェア工学分野の実世界のグラフ分類タスクにおいて、仮想ノード拡張戦略の有効性を検証すること。

提案手法

• すべての実ノードに双方向に接続された1つの仮想ノードを追加して、入力の属性付きグラフを拡張し、潜在的なグローバルなグラフ特性を表現する。
• カラムネットワークアーキテクチャを用いて、複数種類のエッジおよびノード属性を介した再帰的メッセージパッシングによりノード表現を計算する。
• 仮想ノードの表現を用いて、エンド・ツー・エンドのグラフ分類が可能な微分可能な分類器（例：フィードフォワードネットワーク）を適用する。
• 仮想ノードをグラフレベルの記述子または補助情報で初期化し、バックプロパゲーションを用いてモデル全体をエンド・ツー・エンドで学習する。
• 仮想ノードの最終的な隠れ状態を、後続の分類タスク用の固定サイズのグラフレベル埋め込みとして活用する。
• LSTMとノイズ対比推定法を用いて、ソースコード内のメソッドおよび属性宣言のシーケンスを埋め込み、特徴抽出を行う。

実験結果

リサーチクエスチョン

• RQ1 1つの仮想ノードは、ノード属性や局所的近傍に符号化されていないグローバルなグラフレベルの情報を効果的に捉えることができるか？
• RQ2 カラムネットワークのような深層ノード表現モデルと仮想ノードを統合することで、グラフ分類性能が向上するか？
• RQ3 化学化合物およびソフトウェアソースコードを含むグラフ分類タスクにおいて、VCNは最先端の手法と比較してどのように差をつけるか？
• RQ4 仮想ノード機構は、多重タイプおよび有向エッジを有するグラフを含む多様なグラフタイプに一般化可能か？

主な発見

• VCNは、化学化合物のバイオアクティビティ予測タスクにおいて、すべてのベースラインを上回り、優れた分類精度を達成した。
• ソフトウェア脆弱性検出タスクにおいて、VCNは比較対象のすべての手法と比較して最高のAUCおよびF1スコアを達成した。
• 仮想ノードの表現は、ノードレベルの埋め込みや手動で設計された特徴量に依存するモデルと比較して、顕著に性能向上をもたらした。
• 本手法は、多重タイプおよび有向エッジを有するグラフを含むさまざまなグラフタイプに対して頑健であり、広範な適用可能性を示した。
• アブレーションスタディの結果、仮想ノードはグローバルなグラフ構造を捉えるために不可欠であることが確認され、削除すると性能が低下した。