[論文レビュー] Adaptive Graph Convolutional Neural Networks

Ruoyu Li, Sheng Wang+2 more|arXiv (Cornell University)|Jan 10, 2018

Advanced Graph Neural Networks参考文献 23被引用数 95

ひとこと要約

AGCNは、残差グラフラプラシアンと距離尺度を学習することでタスク特化の適応グラフを学習し、任意のグラフ構造へ畳み込みを可能にし、性能と収束を向上させる。

ABSTRACT

Graph Convolutional Neural Networks (Graph CNNs) are generalizations of classical CNNs to handle graph data such as molecular data, point could and social networks. Current filters in graph CNNs are built for fixed and shared graph structure. However, for most real data, the graph structures varies in both size and connectivity. The paper proposes a generalized and flexible graph CNN taking data of arbitrary graph structure as input. In that way a task-driven adaptive graph is learned for each graph data while training. To efficiently learn the graph, a distance metric learning is proposed. Extensive experiments on nine graph-structured datasets have demonstrated the superior performance improvement on both convergence speed and predictive accuracy.

研究の動機と目的

• 固定グラフではなく、変化するグラフ構造を扱えるようにグラフCNNを動機づける。
• 適応的でサンプル特有のグラフラプラシアンを学習するスペクトルグラフ畳み込み層を提案する。
• 適応グラフを構築するための距離尺度学習を導入する。
• 学習効率を改善するために特徴空間の再パラメータ化と残差グラフ成分を組み込む。
• 分子や点群を含む複数のグラフ構造データセットで優れた性能を実証する。

提案手法

• SGC-LLを導入する：距離尺度によって学習される適応ラプラシアンを持つスペクトルグラフ畳み込み層。
• Mahalanobis様距離 D(xi,xj) = sqrt((xi-xj)^T M ( xi-xj)) を M = Wd Wd^T をトレーニング可能として用いる。
• learned metric and features から残差グラフラプラシアン更新 L_res を計算し、ive L = L + alpha L_res を形成する。
• スペクトルフィルタ g_theta(L) を更新済みラプラシアンの多項式として表現し、効率のために Chebyshev 展開を用いる。
• 特徴空間変換 Y = U g_theta(L) U^T X を、学習可能な W と b で適用し、頂点内外の特徴を埋め込む。
• 異なるトポロジーとサイズを持つグラフのバッチ学習を可能にするため、層ごとの残差グラフ更新を採用する。

実験結果

リサーチクエスチョン

• RQ1 固定グラフによる情報損失を招かず、任意のグラフ構造とサイズを持つデータをグラフCNNは扱えるか。
• RQ2 サンプルごとに適応的なグラフラプラシアンを学習することで予測精度と収束速度は向上するか。
• RQ3 距離尺度学習は与えられたタスクに対してグラフトポロジーを効果的にカスタマイズできるか。
• RQ4 頂点特徴の再パラメータ化はグラフ畳み込みの性能を向上させるか。
• RQ5 提案された AGCN は分子、点群、マルチタスク毒性データセットにおいて、既存のグラフCNNと比べてどう性能を示すか。

主な発見

Dataset	graphconv RMSE	NFP RMSE	GCN RMSE	AGCN RMSE
Delaney	0.4222 ± 8.38e-2	0.4955 ± 2.30e-3	0.4665 ± 2.07e-3	0.3061 ± 5.34e-3
Az-logD	0.7516 ± 8.42e-3	0.9597 ± 5.70e-3	1.0459 ± 3.92e-3	0.7362 ± 3.54e-3
NCI	0.8695 ± 3.55e-3	0.8748 ± 7.50e-3	0.8717 ± 4.14e-3	0.8647 ± 4.67e-3
Hydration-free energy	2.0329 ± 2.70e-2	3.4082 ± 3.95e-2	2.2868 ± 1.37e-2	1.3317 ± 2.73e-2

• AGCN は複数のデータセットで最先端のグラフCNNを上回り、より速い収束とより良い予測精度を示す。
• サンプルごとに残差ラプラシアン L_res を学習すると、予測タスクにより適したグラフトポロジーが得られ、固有グラフを超える新しいエッジを導入できる。
• 低パラメータコスト（O(d^2) または O(d)）の距離尺度学習は、トポロジー更新を計算効率的にし、グラフサイズに依存しない。
• 共通の特徴変換と指標のおかげで、異なるサイズの多様なグラフのバッチ訓練をサポートする。
• Delaney、Az-logD、NIH-NCI、Hydration-free energy、Tox21、ClinTox、Sider、Toxcast、Sydney 点群での実験は、回帰、分類、マルチタスクのシナリオにおいて AGCN の広範な有効性を示す。
• Table 1 は、複数の分子データセットにおいて AGCN が graphconv、NFP、GCN より低い RMSE を達成していることを示している。