[論文レビュー] DGCNN: Disordered Graph Convolutional Neural Network Based on the Gaussian Mixture Model

Bo Wu, Yang Liu+2 more|arXiv (Cornell University)|Dec 10, 2017

Advanced Graph Neural Networks参考文献 14被引用数 5

ひとこと要約

本稿では、不規則なグラフ近傍におけるエンドツーエンド学習を可能にするためにガウス・ミックスチャネル・モデル（GMM）を用いる、DGCNNと呼ばれる不規則なグラフ畳み込みニューラルネットワークを提案する。GMMから畳み込みカーネルパラメータをサンプリングすることにより、変動するサイズと順序のないノード近傍に動的に適応し、情報損失を低減するとともに、グラフ分類および検索タスクで最先端の手法を上回る性能を達成する。

ABSTRACT

Convolutional neural networks (CNNs) can be applied to graph similarity matching, in which case they are called graph CNNs. Graph CNNs are attracting increasing attention due to their effectiveness and efficiency. However, the existing convolution approaches focus only on regular data forms and require the transfer of the graph or key node neighborhoods of the graph into the same fixed form. During this transfer process, structural information of the graph can be lost, and some redundant information can be incorporated. To overcome this problem, we propose the disordered graph convolutional neural network (DGCNN) based on the mixed Gaussian model, which extends the CNN by adding a preprocessing layer called the disordered graph convolutional layer (DGCL). The DGCL uses a mixed Gaussian function to realize the mapping between the convolution kernel and the nodes in the neighborhood of the graph. The output of the DGCL is the input of the CNN. We further implement a backward-propagation optimization process of the convolutional layer by which we incorporate the feature-learning model of the irregular node neighborhood structure into the network. Thereafter, the optimization of the convolution kernel becomes part of the neural network learning process. The DGCNN can accept arbitrary scaled and disordered neighborhood graph structures as the receptive fields of CNNs, which reduces information loss during graph transformation. Finally, we perform experiments on multiple standard graph datasets. The results show that the proposed method outperforms the state-of-the-art methods in graph classification and retrieval.

研究の動機と目的

• 従来のCNNが変動サイズおよび順序のない近傍を持つ不規則なグラフ構造を処理する際の制限を解消すること。
• ゼロパディングや切り詰めなどのグラフ正則化技術が引き起こす情報損失を排除すること。
• 不規則なノード近傍における畳み込みカーネルのエンドツーエンドバックプロパゲーションに基づく最適化を可能にすること。
• 固定されたグラフ表現に依存しないパラメータ学習メカニズムを開発すること。
• 標準ベンチマークデータセットにおけるグラフ分類および類似性マッチングのパフォーマンスを向上させること。

提案手法

• 固定サイズの表現ではなく、連続的なGMMベースのパラメータ空間に近傍ノードをマップする不規則なグラフ畳み込み層（DGCL）を導入する。
• 混合ガウス関数を用いて、畳み込みカーネルと不規則なノード近傍の関係をモデル化し、離散的パラメータ学習を連続的パラメータサンプリングに変換する。
• GMMサンプリングプロセスを介してバックプロパゲーションを可能にし、畳み込みカーネルパラメータをニューラルネットワークの他の部分と同時に最適化可能にする。
• GMMパラメータを学習可能な重みとして扱い、各近傍構造に最適なカーネル構成をモデルが自己適応的に学習できるようにする。
• パディングや切り詰めを必要とせず、任意スケールおよび不規則なグラフ構造を受容フィールドとして処理する。
• 標準CNN層の前処理層としてDGCLを統合し、変換された特徴量上で標準CNN演算を実行可能にする。

実験結果

リサーチクエスチョン

• RQ1 正則化を伴わず、不規則で順序のない変動サイズのノード近傍を直接処理できるグラフ畳み込みネットワークを設計できるか？
• RQ2 固定サイズの近傍表現と比較して、GMMベースのパラメータサンプリングは不規則なグラフ構造における特徴学習をどのように改善するか？
• RQ3 提案されたDGCNNは、グラフ分類および検索タスクにおいて、既存のグラフCNNおよびグラフカーネルをどの程度上回るか？
• RQ4 異なるグラフデータセットにおいて、GMMの最適なガウス成分数は何か？
• RQ5 DGCNNの計算効率は、既存のグラフ畳み込み手法と比較してどの程度か？

主な発見

• DGCNNはPTC、AIDS、PROTEIN、D&D、COLLABなど複数の標準グラフデータセットで最先端のパフォーモンスを達成し、既存のg-CNNおよびグラフカーネルを上回っている。
• PTCデータセットでは、ガウス成分数を5から15に増やすと分類精度が著しく向上し、それ以上では安定化し、最適性能はm=15で達成される。
• AIDSデータセットでは、最適な成分数はm=20であり、精度がピークに達し、それ以上の値でも安定している。
• PROTEINデータセットでは、最良のパフォーマンスはm=15で達成され、それ以上の値でも精度が安定している。
• より大きなCOLLABデータセットでは、m=25が最高の分類精度をもたらし、複雑で大規模なグラフではより多くの成分が必要であることを示している。
• DGCNNの実行時間は他の最先端手法と同等であり、GMMパラメータサンプリングによるわずかな遅延があるものの、同オーダー（例：COLLABではPSCHより47秒遅いが、実世界用途においても効率的）である。