[論文レビュー] Deep Graph Attention Model

John Boaz Lee, Ryan A. Rossi+1 more|arXiv (Cornell University)|Sep 15, 2017

Advanced Graph Neural Networks参考文献 26被引用数 11

ひとこと要約

本稿では、グラフ分類のための情報的でない部分を無視し、重要と思われる部分グラフに焦点を当てて処理する、注意メカニズムと外部記憶を備えた再帰的ニューラルネットワーク（GAM）を提案する。全グラフを処理するモデルとは異なり、顕著な領域に注目することで、NCI-33やNCI-83を含む5つのベンチマークデータセットで最先端の精度を達成した。

ABSTRACT

Graph classification is a problem with practical applications in many different domains. Most of the existing methods take the entire graph into account when calculating graph features. In a graphlet-based approach, for instance, the entire graph is processed to get the total count of different graphlets or sub-graphs. In the real-world, however, graphs can be both large and noisy with discriminative patterns confined to certain regions in the graph only. In this work, we study the problem of attentional processing for graph classification. The use of attention allows us to focus on small but informative parts of the graph, avoiding noise in the rest of the graph. We present a novel RNN model, called the Graph Attention Model (GAM), that processes only a portion of the graph by adaptively selecting a sequence of "interesting" nodes. The model is equipped with an external memory component which allows it to integrate information gathered from different parts of the graph. We demonstrate the effectiveness of the model through various experiments.

研究の動機と目的

• 全グラフを処理する既存のグラフ分類手法の限界を解決する。これはノイズの導入や高い計算コストを伴う。
• 判別パターンが疎で局所的であるがゆえに、ノイズの多い大規模な実世界グラフにおける分類性能を向上させる。
• 注目メカニズムを用いて動的に情報的でない部分グラフ領域を選択することで、グローバルなグラフ統計に依存するのを減らす。
• 複数の訪問済みノードからの情報を集約する外部記憶部を統合し、表現学習を強化する。
• 特に信号対ノイズ比が低い状況では、全グラフを処理するのではなく、小さな関連のある部分グラフに注目することで、より良い性能が得られることを示す。

提案手法

• 注目メカニズムにより選択されたノードのシーケンスを処理する再帰的ニューラルネットワーク（RNN）アーキテクチャを提案する。
• 各ノードに対してスコアを計算する注目ネットワークを用い、グラフ内で次に訪問するノードの選択をガイドする。
• 訪問済みノードの隠れ状態を格納・集約する外部記憶部を導入し、長距離の情報統合を可能にする。
• 記憶内の履歴ベクトルに対して重み付きプーリングを適用し、より長いウォークをサポートするとともに表現品質を向上させる。
• 予測精度に基づく報酬を用いた強化学習とポリシー勾配法を用いてモデルを訓練する。
• シーケンス長 $T=12$、サンプル数 $M=20$ などのハイパーパrameterを固定し、Adam最適化と学習率スケジューリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 注目に基づくRNNモデルが部分グラフを効果的に処理することで、全グラフを処理するモデルを上回る性能を示せるか？
• RQ2 外部記憶部を統合することで、注目ベースのグラフ分類モデルの性能にどのような影響を与えるか？
• RQ3 グラフの一部しか観測しない場合、全グラフベースラインと比較して性能が低下するか。また、注目メカニズムがその影響を緩和できるか？
• RQ4 ノード訪問のシーケンス長 $T$ の変更に伴い、モデルの性能はどれほど感度を示すか？
• RQ5 学習された注目とは異なり、ランダムな部分グラフサンプリング（ランダム注目）が同等の性能を達成できるか。この結果から注目メカニズムの価値は何か？

主な発見

• 外部記憶を備えたグラフ注目モデル（GAM-mem）は、5つのグラフ分類ベンチマークデータセットで最先端の性能を達成し、4つのデータセットで1位、NCI-33で2位を記録した。
• GAM-memはGAMを常に上回る性能を示しており、外部記憶が複数のグラフ領域からの情報を統合することで表現学習が著しく向上することを示している。
• 全グラフベースライン（Agg-Attr や Agg-WL）と比較して、グラフの一部しかアクセスできない状況でも、GAMは大多数のデータセットで優れた性能を示しており、選択的注目がグローバル処理よりも効果的であることを示している。
• Agg-Attr や Agg-WL にランダム注目を適用すると、性能が著しく低下する。特にAgg-WLは4つのデータセットでほぼランダムに動作するほどであり、注目メカニズムが単なる正則化ではなく、有用な部分構造を同定するための鍵的要因であることを裏付けている。
• 短いウォーク（$T \leq 3$）でも、最良の性能と比較して5–6%程度の劣化にとどまり、分子グラフが比較的小さく、局所的パターンが非常に情報的であることが示唆された。
• Tを増加させることで、GAMおよびGAM-memの両方の性能が向上し、GAM-memは重み付き記憶プーリングにより長いシーケンスを活用できるため、より大きな恩恵を受ける。