[論文レビュー] Multi-Channel Graph Convolutional Networks

Kaixiong Zhou, Qingquan Song+4 more|arXiv (Cornell University)|Dec 17, 2019

Advanced Graph Neural Networks参考文献 26被引用数 7

ひとこと要約

本稿では、階層的グラフニューラルネットワークであるマルチチャネルグラフ畳み込みネットワーク（MuchGCN）を提案する。各層で複数のグラフチャネルを学習することで、多様なノード特徴を保持し、ポーリングによる情報損失を軽減する。学習可能なフィルタとチャネル間メッセージスティングを用いることで、多数のベンチマークで最先端の性能を達成する。

ABSTRACT

Graph neural networks (GNN) has been demonstrated to be effective in classifying graph structures. To further improve the graph representation learning ability, hierarchical GNN has been explored. It leverages the differentiable pooling to cluster nodes into fixed groups, and generates a coarse-grained structure accompanied with the shrinking of the original graph. However, such clustering would discard some graph information and achieve the suboptimal results. It is because the node inherently has different characteristics or roles, and two non-isomorphic graphs may have the same coarse-grained structure that cannot be distinguished after pooling. To compensate the loss caused by coarse-grained clustering and further advance GNN, we propose a multi-channel graph convolutional networks (MuchGCN). It is motivated by the convolutional neural networks, at which a series of channels are encoded to preserve the comprehensive characteristics of the input image. Thus, we define the specific graph convolutions to learn a series of graph channels at each layer, and pool graphs iteratively to encode the hierarchical structures. Experiments have been carefully carried out to demonstrate the superiority of MuchGCN over the state-of-the-art graph classification algorithms.

研究の動機と目的

• 単一パスのポーリングによって非同型のグラフが識別不能な粗い構造に統合される、階層的グラフニューラルネットワークにおける情報損失を解消すること。
• 固定された近隣順序や形状に依存する標準的なGNNの制限を克服し、ノード次数が変動し、近隣が順序なしである一般のグラフに適用可能であるようにすること。
• 並列なグラフチャネルを用いて、同時に複数の異なる粗いグラフ構造を符号化することで、マルチビュー表現学習を可能にすること。
• 事前に定義された局所的パッチ構造に依存せずに、学習可能な、順序に依存しない畳み込み機構を設計し、異なるグラフビューにおいてもノードの固有特徴を保持すること。

提案手法

• 各チャネルが近隣特徴の上での学習可能なフィルタを用いて、ノード埋め込みの別々の表現を学習するマルチチャネルグラフ畳み込み機構を定義する。
• 異なるグラフチャネル間の特徴を集約するためのチャネル別メッセージスティング機構を導入し、学習可能な変換を介してチャネル間特徴統合を可能にする。
• 各層で微分可能ポーリングを適用し、段階的に粗いグラフ表現の系列を生成することで、階層的構造情報を保持する。
• すべての層とチャネルからの表現を連結し、グローバルポーリングと分類を実行することで、最終的なグラフ埋め込みを構築する。
• ノード多重集合表現のユニバーサル近似を保証するため、非線形活性化関数（例：ReLU）と多層パーセプトロン（MLP）を用いて集約関数をモデル化する。
• 学習可能なフィルタを用いることで、元の多重集合が異なっていても、スケーリングされた多重集合が不変のまま残ることを証明し、ノード埋め込みの一意性を保証する。

実験結果

リサーチクエスチョン

• RQ1 階層的ポーリング中に、複数のビューにおいてグラフ畳み込みネットワークが多様なノード特徴をどのように保持できるか。
• RQ2 一般のグラフにおける変動する近隣構造に対応できる、学習可能な、順序に依存しない畳み込み機構を設計できるか。
• RQ3 複数の粗いグラフ表現を効果的に統合することで、グラフ分類性能を向上させられるか。
• RQ4 マルチチャネル学習が、単一パスポーリングで崩壊してしまう非同型のグラフを区別する上で果たす影響は何か。
• RQ5 チャネル間特徴集約を可能にしつつ、特徴の一意性を維持できるように、チャネル間メッセージスティングをどのように定式化できるか。

主な発見

• MuchGCNは、多数のグラフ分類ベンチマークで最先端の性能を達成し、既存の階層的GNNおよびマルチグラフGNNを上回る。
• 複数のグラフチャネルのおかげで、非同型のグラフが同一の粗い表現に収束するのを防ぐことができ、グラフ同型性の問題に対して頑健である。
• MuchGCNの実行時間は、メッセージスティングステップ数 $K$ とチャネル拡張率 $C_l$ に線形に増加することが確認され、理論的な時間計算量解析と整合的である。
• 学習可能なフィルタとバイアススケーリングにより、ノード表現の独自性が確実に保持され、異なる多重集合の近隣埋め込みが区別可能であることが保証された。
• 実験結果から、マルチチャネル・マルチレイヤーのグラフ埋め込みを連結することで、単一チャネルまたは単一パスポーリングベースラインに比べて顕著な分類精度の向上が得られた。
• アブレーションスタディの結果、マルチチャネル設計とチャネル間メッセージスティングの両方が性能向上に不可欠であり、それぞれが表現学習に独自の貢献をしていることが確認された。