[論文レビュー] When Work Matters: Transforming Classical Network Structures to Graph CNN

Wenting Zhao, Chunyan Xu+5 more|arXiv (Cornell University)|Jul 7, 2018

Advanced Graph Neural Networks参考文献 33被引用数 12

ひとこと要約

この論文では、スペクトルグラフフィルタリングを用いて不規則なグラフ構造データに古典的ディープラーニングアーキテクチャを適応させることで、G ResNet、G Inception、G DenseNetというグラフCNNの変種を提案する。深さのあるモデルに最適化された受容 field（例：サイズ6）を適用することで、グラフ分類精度が著しく向上し、MUTAGでは最大95.56%、NCI109では81.24%の精度を達成した。

ABSTRACT

Numerous pattern recognition applications can be formed as learning from graph-structured data, including social network, protein-interaction network, the world wide web data, knowledge graph, etc. While convolutional neural network (CNN) facilitates great advances in gridded image/video understanding tasks, very limited attention has been devoted to transform these successful network structures (including Inception net, Residual net, Dense net, etc.) to establish convolutional networks on graph, due to its irregularity and complexity geometric topologies (unordered vertices, unfixed number of adjacent edges/vertices). In this paper, we aim to give a comprehensive analysis of when work matters by transforming different classical network structures to graph CNN, particularly in the basic graph recognition problem. Specifically, we firstly review the general graph CNN methods, especially in its spectral filtering operation on the irregular graph data. We then introduce the basic structures of ResNet, Inception and DenseNet into graph CNN and construct these network structures on graph, named as G_ResNet, G_Inception, G_DenseNet. In particular, it seeks to help graph CNNs by shedding light on how these classical network structures work and providing guidelines for choosing appropriate graph network frameworks. Finally, we comprehensively evaluate the performance of these different network structures on several public graph datasets (including social networks and bioinformatic datasets), and demonstrate how different network structures work on graph CNN in the graph recognition task.

研究の動機と目的

• 古典的な深層ニューラルネットワークアーキテクチャ（ResNet、Inception、DenseNet）を不規則なグラフ構造データ向けのグラフ畳み込みネットワーク（Graph CNN）に適応すること。
• 古典的CNNにおけるリーダル学習、ダイアグナル接続、マルチ受容 field モジュールがグラフドメインに効果的に転送可能かどうかを調査すること。
• これらの適応アーキテクチャのベンチマークグラフデータセットにおける性能を評価し、主にグラフ認識タスクに焦点を当てる。
• 深さと受容 field サイズの影響を分析することで、より深く、より効果的なGraph CNNを構築するための設計指針を提供すること。

提案手法

• 不規則なグラフトポロジーに対応するため、チェビシェフ多項式近似を用いたスペクトルグラフ畳み込みを適応する。
• 深層ネットワークの学習を容易にするために、スキップ接続をスペクトルグラフ畳み込み層に組み込んだG ResNetを導入する。
• 複数の並列畳み込みパス（受容 field サイズ3、6、9）をグラフ畳み込み設定に統合することで、G Inceptionを構築する。
• 各グラフ畳み込み層を順方向にすべての後続層に接続することで、特徴の伝搬を強化するG DenseNetを開発する。
• 計算効率を確保しつつ性能を維持するため、スペクトルグラフ畳み込みの一次近似を採用する。
• ノード特徴量に対する周波数ベースのフィルタリング操作を定義するために、グラフラプラシアンの固有値分解を用いる。

実験結果

リサーチクエスチョン

• RQ1 ResNetにおけるスキップ接続は、グラフ畳み込みネットワークの学習と性能にどのように寄与するか？
• RQ2 Inceptionにおけるマルチ受容 field モジュールは、グラフ構造データの特徴表現にどの程度向上効果をもたらすか？
• RQ3 DenseNetにおけるダイアグナル接続は、グラフCNNにおける特徴学習とモデル精度にどのような影響を及えるか？
• RQ4 分類精度の観点から、グラフ畳み込み層における最適な受容 field サイズは何か？
• RQ5 提案されたGraph CNN変種を用いたグラフ認識タスクにおいて、ネットワークの深さは性能にどのように影響するか？

主な発見

• 12層畳み込みのG InceptionはMUTAGで95.56%の精度を達成し、3層バージョンの2.78%上回った。
• 9層畳み込みのG InceptionはNCI109で81.24%の精度を達成し、3層モデルの3.93%上回った。
• 受容 field サイズ6のG ResNetはMUTAGで94.44%の精度を達成し、サイズ3および9のモデルを上回った。
• 受容 field 6のG DenseNetはMUTAGで94.44%の精度を達成し、全テスト設定の中で最高となった。
• より深いモデル（例：12層G Inception）は一貫して浅いモデルを上回り、深層アーキテクチャが高次のグラフ表現を抽出できることを示した。
• 受容 field サイズ6が特徴抽出と計算複雑性のバランスを最適化しており、より大きなまたは小さなフィールドは両データセットで性能を低下させた。