[論文レビュー] Graph Convolutional Neural Networks via Motif-based Attention

Hao Peng, Jianxin Li+4 more|arXiv (Cornell University)|Nov 11, 2018

Advanced Graph Neural Networks参考文献 43被引用数 8

ひとこと要約

本稿では、モチーフマッチング誘導型部分グラフ正規化と部分グラフレベルの自己注意機構を用いることで、グラフ分類の性能を向上させる、新しいグラフ畳み込みニューラルネットワークMA-GCNNを提案する。モチーフマッチングを用いてグラフデータをグリッド構造の表現に変換し、部分グラフ上で注意機構を適用することで、MA-GCNNはバイオインフォマティクスおよびソーシャルネットワークデータセットの両方で最先端の性能を達成し、従来のディープラーニングおよびグラフカーネル手法を大きく上回る精度向上を実現した。

ABSTRACT

Many real-world problems can be represented as graph-based learning problems. In this paper, we propose a novel framework for learning spatial and attentional convolution neural networks on arbitrary graphs. Different from previous convolutional neural networks on graphs, we first design a motif-matching guided subgraph normalization method to capture neighborhood information. Then we implement subgraph-level self-attentional layers to learn different importances from different subgraphs to solve graph classification problems. Analogous to image-based attentional convolution networks that operate on locally connected and weighted regions of the input, we also extend graph normalization from one-dimensional node sequence to two-dimensional node grid by leveraging motif-matching, and design self-attentional layers without requiring any kinds of cost depending on prior knowledge of the graph structure. Our results on both bioinformatics and social network datasets show that we can significantly improve graph classification benchmarks over traditional graph kernel and existing deep models.

研究の動機と目的

• 任意のグラフにおける豊かな空間的・構造的情報をグラフ分類のために捉える課題に対処すること。
• 事前知識に依存するか、部分グラフレベルの重要性を正しくモデル化できない従来のグラフ畳み込みネットワークの限界を克服すること。
• 構造的事前知識を必要とせず、異なる部分グラフに動的重みを学習する部分グラフレベルの注意機構を開発すること。
• 新しい正規化および畳み込み技術により、近隣およびモチーフレベルの構造的情報を保持することで、グラフ分類の精度を向上させること。
• 多様なグラフタイプに一般化可能なエンドツーエンドで解釈可能なグラフ分類フレームワークを提供すること。

提案手法

• 空間的関係を保持したままグラフ構造データを2次元グリッド構造表現に変換するため、モチーフマッチング誘導型部分グラフ正規化手法を提案する。
• プーリングを伴わない、部分グラフに依存しない畳み込みニューラルネットワークを設計し、部分グラフレベルでの特徴学習を可能にする。
• 異なる部分グラフ間で注意重みを計算する部分グラフレベルの自己注意機構を導入し、より判別力のある部分構造を動的に強調する。
• 各部分グラフ内における複数の畳み込みカーネルからの特徴マップを連結し、自己注意を適用して各部分グラフベクトルの重要度スコアを学習する。
• モチーフマッチングを活用して、サイズや順序が異なるグラフ間で一貫した部分グラフテンプレートを定義し、一貫した表現学習を可能にする。
• モチーフマッチング、部分グラフ畳み込み、自己注意を統合したエンドツーエンドの学習フレームワークを採用し、共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 モチーフマッチングに基づく部分グラフ正規化は、任意のグラフにおける空間的・構造的情報を効果的に保持できるか？
• RQ2 部分グラフレベルの自己注意機構は、異なる部分グラフに動的重みを学習させることで、グラフ分類性能を向上させられるか？
• RQ3 提案されたMA-GCNNフレームワークは、多様なグラフ分類ベンチマークにおいて、従来のグラフカーネルおよびディープラーニング手法を上回る性能を示すか？
• RQ4 バイオインフォマティクスおよびソーシャルネットワークなど、ノード属性特性が異なるさまざまな種類のグラフにおいて、モデルの性能はどのように変動するか？
• RQ5 注意機構は、分類に最も予測的である部分グラフパターンを解釈可能に特定できるか？

主な発見

• MA-GCNNは5つのバイオインフォマティクスデータセットで最先端の精度を達成し、IMDB-BINARYでは77.20% ± 2.96、IMDB-MULTIでは53.77% ± 3.11を記録し、すべてのベースラインを上回った。
• PTCデータセットでは71.77%の精度を達成し、最良のベースライン（NEST）と比較して4.35%の向上を示した。
• D&Dデータセットでは89.44%の精度を達成し、DIFFPOOLと比較して1.25%の向上を示し、標準偏差も低かった。
• NCI1データセットでは75.10% ± 3.14の精度を達成し、PSCNと比較して3.18%の向上を示し、10回の交差検証のうち6回でSOTAを達成した。
• ソーシャルネットワークデータセットでは、IMDB-B、IMDB-M、REDDIT-BINARY、REDDIT-MULTU-5K、REDDIT-MULTU-12Kの各データセットで、それぞれ最良のベースラインと比較して平均で2.75%、0.69%、0.92%、1.44%、1.10%の精度向上を達成した。
• すべてのデータセットで低い標準偏差を示しており、一貫性があり、頑健な性能を発揮していることが確認された。