[論文レビュー] Motif-based Convolutional Neural Network on Graphs

Aravind Sankar, Xinyang Zhang+1 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Graph Neural Networks参考文献 34被引用数 29

ひとこと要約

本稿では、異種グラフにおける空間的局所性および並進不変性を定義するために高次構造的モチーフを用いる、新しいグラフ畳み込みネットワーク「Motif-CNN」を提案する。複数のモチーフパターンの注目重み付き組み合わせを学習することで、複雑な構造的および特徴的関係を捉え、実世界の異種データセットにおける半教師付きノード分類において、最先端手法よりも6–21%の性能向上を達成する。

ABSTRACT

This paper introduces a generalization of Convolutional Neural Networks (CNNs) to graphs with irregular linkage structures, especially heterogeneous graphs with typed nodes and schemas. We propose a novel spatial convolution operation to model the key properties of local connectivity and translation invariance, using high-order connection patterns or motifs. We develop a novel deep architecture Motif-CNN that employs an attention model to combine the features extracted from multiple patterns, thus effectively capturing high-order structural and feature information. Our experiments on semi-supervised node classification on real-world social networks and multiple representative heterogeneous graph datasets indicate significant gains of 6-21% over existing graph CNNs and other state-of-the-art techniques.

研究の動機と目的

• 既存のグラフCNNが異種グラフにおける高次で意味のある近傍構造をモデル化する点で抱える限界に対処すること。
• 複雑なグラフ相互作用におけるノードタイプ、スキーマ制約、意味的役割を尊重する空間的局所性を定義すること。
• 受容 field 内のコンテキストノードの意味的役割を区別できる重み共有スキームを設計し、多様な構造的パターンにわたる並進不変性を実現すること。
• モチーフベースの受容 field をディープラーニングと統合し、不規則で異種的なグラフ構造における有効な特徴抽出を可能にすること。
• 計算効率を維持したまま、半教師付きノード分類において優れた性能を達成すること。

提案手法

• 従来の近傍ベースの局所的結合性に代わって、高次部分グラフパターン（モチーフ）を受容 field として用いるモチーフベースの空間畳み込みを導入する。
• ノードがモチーフパターン内で同一の意味的役割を果たしている場合にのみ同じパラメータを割り当てる、新しい重み共有メカニズムを定義する。
• 複数のモチーフパターンから抽出された特徴を動的に組み合わせる注目メカニズムを採用し、高次構造的情報の選択的統合を可能にする。
• グラフ内の関連する構造的パターンを事前に列挙することで、各ノード回りの局所的受容 field の基盤を形成する。
• より深い層が、スタックされたモチーフ畳み込みを通じて、次第に複雑なモチーフベースの表現を学習する多層構造を適用する。
• 異種ノードタイプとタイプ付きエッジをサポートする統一フレームワークを活用し、特徴学習中にスキーマの意味を保持する。

実験結果

リサーチクエスチョン

• RQ1 標準的な近傍定義が失敗する不規則で異種的なグラフにおいて、高次構造的モチーフは空間的局所性を効果的にモデル化できるか？
• RQ2 グラフ内の異なるモチーフパターンにわたって意味的役割の違いを保ちながら、重み共有スキームをどのように設計できるか？
• RQ3 異種グラフにおける半教師付きノード分類において、モチーフベース畳み込みは標準のグラフCNNをどれほど上回れるか？
• RQ4 モチーフベース特徴学習は、直接近傍またはホップベース手法よりも豊かな構造的および特徴的情報を捉えられるか？
• RQ5 複数のモチーフの注目ベース統合は、モデルの汎化性能と性能をどのように向上させるか？

主な発見

• Motif-CNNは、異種グラフデータセットにおいて、既存のグラフCNNおよび最先端手法よりもマクロ-F1とマイクロ-F1で6–21%の相対的向上を達成した。
• DBLPデータセットでは、Motif-CNNはGCNよりもマクロ-F1で14%、マイクロ-F1で12%の向上を示し、複雑な異種グラフにおいて顕著な性能向上を確認した。
• 他のグラフCNNと比較して、収束が早く、検証損失も低くなることから、モチーフベース特徴学習による最適化ダイナミクスの改善が示された。
• Motif-CNNは計算的にも効率的であり、1エポックあたりの学習時間はGCNに次ぐ速さであり、事前計算のオーバーヘッドを考慮しても総合的な実行時間はGCNに近い。
• 注目メカニズムは、過学習を引き起こさずに情報量の多いモチーフパターンを効果的に優先し、特徴表現を強化した。
• 性能向上は特に異種グラフにおいて顕著であり、このような分野における高次構造モデリングの重要性を裏付けた。