[論文レビュー] MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing

Sami Abu-El-Haija, Bryan Perozzi+6 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Graph Neural Networks参考文献 23被引用数 269

ひとこと要約

MixHop は各レイヤーで複数の隣接行列冪を学習することで高次の近傍混合を実現し、デルタ演算子のような表現を可能にし、スパース正規化によりデータセット特有のアーキテクチャを明らかにする；追加のメモリ/複雑性を増やさずにベンチマークグラフで状態最先端のノード分類を達成します。

ABSTRACT

Existing popular methods for semi-supervised learning with Graph Neural Networks (such as the Graph Convolutional Network) provably cannot learn a general class of neighborhood mixing relationships. To address this weakness, we propose a new model, MixHop, that can learn these relationships, including difference operators, by repeatedly mixing feature representations of neighbors at various distances. Mixhop requires no additional memory or computational complexity, and outperforms on challenging baselines. In addition, we propose sparsity regularization that allows us to visualize how the network prioritizes neighborhood information across different graph datasets. Our analysis of the learned architectures reveals that neighborhood mixing varies per datasets.

研究の動機と目的

• 従来の GCN が一般的な近傍混合関係を捉えるうえでの制限を動機づける。
• 追加のメモリや計算負担を増やすことなく、より高次元の（マルチ距離の）特徴混合を学習できる MixHop を導入する。
• MixHop がデルタ演算子および一般的な近傍混合を表現できることを示す。
• ベンチマークグラフでのノード分類性能の改善を示し、スパース正規化によって学習されたアーキテクチャを可視化する。

提案手法

• MixHop レイヤーを定義: H^{(i+1)} = ||_{j in P} sigma( A_hat^{j} H^{(i)} W^{(i)}_{j}) where A_hat is the normalized adjacency with self-loops.
• P = {1} の場合、MixHop はバニラ GCN を含意することを示す。
• MixHop が二路 Delta Operators を表現できることを示す（バニラ GCN とは異なる）。
• 層ごとの近傍混合に一般化: f(sum_j alpha_j sigma(A_hat^{j} X)).
• W^{(i)}_{j} の全列を剪定することで自動的にコンパクトなアーキテクチャを学習するための L2 group Lasso を導入。
• オプションで出力層を設計し、特徴のサブセットを強調することも可能。

実験結果

リサーチクエスチョン

• RQ1 RQ1: vanilla GCN は delta-operator スタイルの高次近傍差分（例: 2-hop Delta Operators）を表現できるのか。
• RQ2 RQ2: 各レイヤーで複数の隣接冪を学習することによって、MixHop はデルタ演算子を含むより豊かな近傍混合を学習するのか。
• RQ3 RQ3: 高次近傍混合のアーキテクチャは実データのグラフにおける半教師付きノード分類を改善するのか。
• RQ4 RQ4: 最適な MixHop アーキテクチャはデータセットごとに異なるのか、そしてスパース正規化はデータセット特有の構造を明らかにするのか。

主な発見

• MixHop は Citeseer、 Cora、 Pubmed の半教師付きノード分類でベースラインを上回る。
• 学習されたアーキテクチャはデータセットごとに異なり、異なる隣接冪に対して選択的に容量が割り当てられる。
• 合成実験では低いグラフ同質性（low graph homophily）で MixHop がデルタ演算子をより学習する傾向がある。
• この手法は vanilla GCN、Chebyshev、GAT のベースラインと比較して最先端または競争的な結果を達成する。
• スパース性正規化により、メモリ増加なしで解釈可能かつデータセット特有のネットワークアーキテクチャを得られる。