[論文レビュー] Learning Depthwise Separable Graph Convolution from Data Manifold

Guokun Lai, Hanxiao Liu+1 more|arXiv (Cornell University)|Oct 31, 2017

Advanced Graph Neural Networks参考文献 13被引用数 3

ひとこと要約

本稿では、データ多様体上の深さ方向分離学習を活用することで、グリッド構造データ上の2次元畳み込みと非ユークリッドデータ上のグラフ畳み込みを統一する、深さ方向分離グラフ畳み込み（DSGC）という新しいグラフ畳み込み手法を提案する。本手法は、従来の手法よりも少ないパラメータ数と高い効率性を実現しながら、複数ドメインのベンチマークで最先端の性能を達成しており、標準的なCNNアーキテクチャとも互換性を持つ。

ABSTRACT

Convolution Neural Network (CNN) has gained tremendous success in computer vision tasks with its outstanding ability to capture the local latent features. Recently, there has been an increasing interest in extending convolution operations to the non-Euclidean geometry. Although various types of convolution operations have been proposed for graphs or manifolds, their connections with traditional convolution over grid-structured data are not well-understood. In this paper, we show that depthwise separable convolution can be successfully generalized for the unification of both graph-based and grid-based convolution methods. Based on this insight we propose a novel Depthwise Separable Graph Convolution (DSGC) approach which is compatible with the tradition convolution network and subsumes existing convolution methods as special cases. It is equipped with the combined strengths in model expressiveness, compatibility (relatively small number of parameters), modularity and computational efficiency in training. Extensive experiments show the outstanding performance of DSGC in comparison with strong baselines on multi-domain benchmark datasets.

研究の動機と目的

• 2次元畳み込み（グリッド構造データ）と非ユークリッドデータ上のグラフ畳み込みを、共通の深さ方向分離学習フレームワークを通じて統一すること。
• すべてのチャネルに同一のグローバルフィルタを適用する従来のグラフ畳み込み手法の限界を是正し、固定グラフに依存する問題を解決すること。
• 表現力が高く、計算効率に優れたモデルを構築するとともに、現代のCNNアーキテクチャと互換性を持つこと。
• スパatiotemporal予測やテキスト分類を含む多様なタスクにおいて、DSGCの有効性を実証すること。

提案手法

• データ多様体から学習されたチャネル固有のフィルタを適用する深さ方向分離グラフ畳み込み（DSGC）を提案。2次元CNNにおける深さ方向分離畳み込みを模倣する。
• ラベル伝搬を介した2次元畳み込みとグラフ畳み込みの数学的同等性から、統一された定式化を導出する。
• 各チャネルごとに学習可能なグラフフィルタを採用し、チャネルごとに異なる拡散パターンを実現することで、モデルの表現力を向上させる。
• 2段階の処理を採用：まずグラフ構造上の深さ方向畳み込みを実行し、その後チャネル間で1x1畳み込みを実施することで、パラメータ数を削減する。
• Inception、DenseNet、Squeeze-and-Excitationブロックなどの既存CNNモジュールにDSGCを統合し、性能向上を図る。
• ノード埋め込みとデータ多様体構造を活用して、非ユークリッドデータの局所的パターンに適応する空間フィルタを学習する。

実験結果

リサーチクエスチョン

• RQ1 深さ方向分離畳み込みは、グラフや多様体といった非ユークリッドデータへ一般化可能か？
• RQ2 提案手法DSGCは、表現力とパラメータ効率の観点で、従来のグラフ畳み込み手法と比べてどのように差をつけるか？
• RQ3 DSGCは、グリッド構造データを想定した最先端CNNアーキテクチャにスムーズに統合可能か？
• RQ4 DSGCは、時空間予測やテキスト分類といった多様なドメインタスクにおいて、強力なベースラインを上回る性能を示せるか？

主な発見

• 3つの時系列予測データセットすべてにおいて、DSGCが最小のRMSEを達成：TMAXで5.1438、PRCPで25.8228、Solarで0.02453。すべてのベースラインを上回った。
• 20NEWSテキスト分類ベンチマークでは、DSGCが72.11%の精度（標準偏差±0.285）を達成し、比較されたすべての手法を上回った。
• CIFAR画像分類タスクにおいても、DSGCは少ないパラメータ数で標準CNNの性能に近い水準を維持した。
• DSGCは、Inception、DenseNet、Squeeze-and-Excitationブロックなどの高度なCNNモジュールと、即座に統合可能であり、さまざまなタスクで性能向上を実現した。
• アブレーションスタディの結果、特に複雑な局所特徴抽出タスクにおいて、チャネル固有のフィルタが性能に不可欠であることが確認された。