[論文レビュー] Learning Graph While Training: An Evolving Graph Convolutional Neural Network

Ruoyu Li, Junzhou Huang|arXiv (Cornell University)|Aug 10, 2017

Machine Learning in Materials Science参考文献 24被引用数 9

ひとこと要約

本稿では、教師あり距離学習を用いてトレーニング中に動的にグラフ構造を学習する、進化的なグラフ畳み込みネットワーク（EGCN）を提案する。これにより、任意の形状のグラフ構造データに対してエンドツーエンド学習が可能になる。特徴次元の再パrameter化と残差グラフラプラシアンの学習により、EGCNは分子および薬理学的データセットにおいて予測精度が向上し、収束が速くなる。ベンチマークデータセットにおいて、最先端手法に比べて最大40%のRMSE低減を達成した。

ABSTRACT

Convolution Neural Networks on Graphs are important generalization and extension of classical CNNs. While previous works generally assumed that the graph structures of samples are regular with unified dimensions, in many applications, they are highly diverse or even not well defined. Under some circumstances, e.g. chemical molecular data, clustering or coarsening for simplifying the graphs is hard to be justified chemically. In this paper, we propose a more general and flexible graph convolution network (EGCN) fed by batch of arbitrarily shaped data together with their evolving graph Laplacians trained in supervised fashion. Extensive experiments have been conducted to demonstrate the superior performance in terms of both the acceleration of parameter fitting and the significantly improved prediction accuracy on multiple graph-structured datasets.

研究の動機と目的

• 既存のグラフCNNにおける固定で事前に定義されたグラフ構造の制限を解消し、多様または不規則なグラフ入力におけるエンドツーエンド学習を可能にすること。
• グラフ畳み込みネットワークがトレーニング中に最適なタスク固有のグラフ構造を学習できるようにし、静的または非教師ありのグラフ構築に依存しないようにすること。
• 距離学習を用いて学習可能で適応可能なグラフラプラシアンを備えたスペクトルグラフ畳み込み層を設計すること。
• 任意の形状のグラフ構造データのバッチ処理を可能にする統合フレームワークを設計し、動的でサンプル固有のグラフ構築を実現すること。
• 現実の分子およびマルチタスク薬理学的データセットにおける予測性能の向上に、進化的なグラフ構造が寄与することを示すこと。

提案手法

• グラフラプラシアンを学習されたマハラノビス距離に基づいてサンプルごとに動的に更新する、残差ラプラシアン学習を強化したスペクトルグラフ畳み込み層（SGC-LL）を提案する。
• 特徴ドメインにおける再パラメータ化を導入し、kホップのスペクトル畳み込みを可能にすることで、グリッドデータにおける古典的CNNと同等の特徴抽出能力をグラフCNNに与える。
• グラフサイズNに依存しない、パラメータ複雑度O(d²)またはO(dm)の教師あり距離学習を採用し、計算コストを低減するとともにエンドツーエンド学習を可能にする。
• 予測タスクに最適なグラフ構造を、事前に定義されたものや非教師ありの構築に依存せず、残差学習スキームにより学習する。
• 任意の形状のグラフ入力を受容し、グラフ構造とモデルパラメータを同時に教師ありの方法で学習する進化的なグラフ畳み込みネットワーク（EGCN）を設計する。
• 誤差逆伝播を活用して、グラフラプラシアンとネットワーク重みを同時に最適化し、予測誤差に基づいてグラフ構造が進化するようにする。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、固定または事前に計算されたグラフに依存せず、トレーニング中に最適なタスク固有のグラフ構造を学習できるか？
• RQ2 動的に進化する可変サイズのグラフに対して、スペクトルグラフ畳み込みをkホップ畳み込みに対応させるにはどうすればよいか？
• RQ3 教師あり距離学習は、グラフ構造学習の計算複雑度を低減させつつ、予測性能を向上させられるか？
• RQ4 トレーニング中にグラフラプラシアンを動的に学習することで、静的または非教師ありのグラフ構築に比べて一般化性能が向上し、収束が速くなるか？
• RQ5 進化的なグラフ構造は、分子およびマルチタスク薬理学的予測タスクにおいて、どの程度性能を向上させるか？

主な発見

• Delaneyデータセットでは、EGCNが最先端モデルに比べて平均RMSEを31%～40%低減し、回帰性能の顕著な向上を示した。
• Az-logDデータセットでは、EGCNが既存手法に比べ平均RMSEを15%改善し、溶解度予測における優れた表現学習能力を示した。
• NCIデータセットでは、EGCNがベースラインに比べてテストRMSEを2%～4%低減し、多様な分子タスクにおいて一貫した向上を示した。
• Tox21およびToxcastデータセットでは、EGCNがToxcast（617タスク）において最大5%のタスク平均ROC-AUCスコア向上を達成し、強力なマルチタスク一般化性能を示した。
• SGC-LL層は訓練損失を30%低減し、収束が速くなったことから、進化的なグラフ構造がパラメータ適合を加速していることが示された。
• すべてのベンチマークでG-CNN、GCN、NFPを上回り、グラフ構造とモデル学習を統合的に最適化する有効性が確認された。