[論文レビュー] Graph Capsule Convolutional Neural Networks

Saurabh Verma, Zhili Zhang|arXiv (Cornell University)|May 21, 2018

Advanced Graph Neural Networks参考文献 32被引用数 95

ひとこと要約

この論文は、カプセルベースの出力と共分散ベースの置換不変層を用いてグラフ分類を改善する Graph Capsule CNNs (GCAPS-CNN) を提案し、複数のベンチマークで最先端の結果を達成します。

ABSTRACT

Graph Convolutional Neural Networks (GCNNs) are the most recent exciting advancement in deep learning field and their applications are quickly spreading in multi-cross-domains including bioinformatics, chemoinformatics, social networks, natural language processing and computer vision. In this paper, we expose and tackle some of the basic weaknesses of a GCNN model with a capsule idea presented in \cite{hinton2011transforming} and propose our Graph Capsule Network (GCAPS-CNN) model. In addition, we design our GCAPS-CNN model to solve especially graph classification problem which current GCNN models find challenging. Through extensive experiments, we show that our proposed Graph Capsule Network can significantly outperforms both the existing state-of-art deep learning methods and graph kernels on graph classification benchmark datasets.

研究の動機と目的

• 標準的な GCNN がグラフ分類で抱える弱点を動機づけて是正する。
• スカラー畳み込みより豊かな局所情報を捉えるグラフカプセルを導入する。
• 共分散に基づく微分可能な置換不変層を開発し、ノード順序に依存せず統計量を用いて集約する。
• グローバルなグラフ特徴を組み込み、全体のグラフ構造を活用する。
• 複数のグラフ分類データセットでの優れた性能を実証する。

提案手法

• スカラーのグラフ畳み込み出力を、より高次情報を符号化するベクトル値カプセルに置換する。
• カプセル出力として統計モーメントまたは共分散ベースのインスタンシエーションパラメータを用いる。
• ノード順序に依存しないよう共分散ベースの不変層で置換不変性を強制し、集約を実現する。
• Fgsdスペクトルなどのグローバルグラフ特徴を各層のノード表現に統合して強化する。
• 層・不変プーリング・全結合分類器を備えたエンドツーエンドのGCAPS-CNN アーキテクチャを提供する。
• 標準的なグラフ分類ベンチマークで深層学習法やグラフカーネルと比較する。

実験結果

リサーチクエスチョン

• RQ1 グラフカプセルは標準的なGCNNの集約で失われる情報を保持・回復できるか。
• RQ2 共分散ベースの置換不変層は同型グラフ間で信頼できるグラフ分類を可能にするか。
• RQ3 グローバルグラフ特徴をGCNNに統合すると分類性能は向上するか。
• RQ4 GCAPS-CNN は最先端のグラフカーネルや深層グラフモデルとベンチマークデータセットでどう比較されるか。

主な発見

データセット	PTC	PROTEINS	NCI1	NCI109	D & D	ENZYMES
Deep Learning Methods	56.60±2.89	61.29±1.60	56.61±1.04	57.47±1.22	58.09±0.53	42.44±1.76
P SCN 2016	62.29±5.68	75.00±2.51	76.34±1.68	—	—	—
ECC 2017	—	—	76.82	75.03	72.54	45.67
DGCNN 2018	58.59±2.47	75.54±0.94	74.44±0.47	75.03±1.72	79.37±0.94	51.00±7.29
GCAPS-CNN (ours)	66.01±5.91	76.40±4.17	82.72±2.38	81.12±1.28	77.62±4.99	61.83±5.39
Graph Kernels RW 2003	57.85±1.30	74.22±0.42	>1 Day	>1 Day	>1 Day	24.16±1.64
Graph Kernels SP 2005	58.24±2.44	75.07±0.54	73.00±0.24	73.00±0.21	>1 Day	40.10±1.50
Graph Kernels GK 2009	57.26±1.41	71.67±0.55	62.28±0.29	62.60±0.19	78.45±1.11	26.61±0.99
Graph Kernels WL 2011	57.97±0.49	74.68±0.49	82.19±0.18	82.46±0.24	79.78±0.36	52.22±1.26
Graph Kernels DGK 2015	60.08±2.55	75.68±0.54	80.31±0.46	80.32±0.33	73.50±1.01	53.43±0.91
Graph Kernels MLG 2016	63.26±1.48	76.34±0.72	81.75±0.24	81.31±0.22	78.18±2.56	61.81±0.99
GCAPS-CNN (kernels)	66.01±5.91	76.40±4.17	82.72±2.38	81.12±1.28	77.62±4.99	61.83±5.39

• GCAPS-CNN はいくつかのグラフ分類ベンチマークで既存の最先端深層学習法およびグラフカーネルを上回る。
• 提案された共分散ベースの不変層は置換不変性と効率的な計算を提供する。
• グローバル特徴（例: Fgsd）は全グラフ構造を組み込むことで性能を向上させ得る。
• GCAPS-CNN は PROTEINS, NCI1, NCI109, ENZYMES など複数データセットで最良の結果を達成する。
• モデルは深層学習とカーネルベースの基準の両方で競争力のある、あるいは優越する精度を示す。
• アーキテクチャはエンドツーエンドの微分可能性を維持し、異なるGCNNバリアントにも適用可能である。