[論文レビュー] Graph Convolution: A High-Order and Adaptive Approach

Zhenpeng Zhou, Xiaocheng Li|arXiv (Cornell University)|Jun 29, 2017

Advanced Graph Neural Networks参考文献 25被引用数 24

ひとこと要約

本稿では、長距離依存関係を捉えるためにk階の畳み込み演算子を導入し、局所構造とノード特徴に基づいて隣接ノードの重みを動的に設定する適応フィルタリングモジュールを備えた汎用的GCNフレームワークであるHigh-order and Adaptive Graph Convolutional Network (HA-GCN)を提案する。HA-GCNはノード分類、分子性質予測、および先行モデルと比較して32%多い有効な分子生成という点で最先端の性能を達成した。

ABSTRACT

In this paper, we presented a novel convolutional neural network framework for graph modeling, with the introduction of two new modules specially designed for graph-structured data: the $k$-th order convolution operator and the adaptive filtering module. Importantly, our framework of High-order and Adaptive Graph Convolutional Network (HA-GCN) is a general-purposed architecture that fits various applications on both node and graph centrics, as well as graph generative models. We conducted extensive experiments on demonstrating the advantages of our framework. Particularly, our HA-GCN outperforms the state-of-the-art models on node classification and molecule property prediction tasks. It also generates 32% more real molecules on the molecule generation task, both of which will significantly benefit real-world applications such as material design and drug screening.

研究の動機と目的

• 既存のグラフ畳み込みネットワークが複雑なグラフ構造や長距離依存関係を捉えることの制限を解消すること。
• ノード中心およびグラフ中心の両方のタスクに適用可能な汎用的GCNフレームワークを設計すること。
• 分子設計におけるグラフ生成モデリングを向上させ、生成された分子の質と有効性を高めること。
• 局所グラフトポロジーやノード特徴に基づいて畳み込み重みを学習する動的で適応的なフィルタリング機構を開発すること。
• ノード分類、性質予測、分子生成を含む多様なグラフ学習タスクにおいて、提案されたHA-GCNフレームワークの優位性を実証すること。

提案手法

• kホップまでのノードからの特徴を集約するk階畳み込み演算子を導入し、第一近傍ノードを超える受容 field を拡大する。
• ノード特徴と局所的グラフ接続性の学習可能な関数を用いて、動的畳み込み重みを計算する適応フィルタリングモジュールを採用する。
• 高階畳み込み演算の安定性と対称性を確保するため、対称正規化された隣接行列を用いる。
• VAEおよびAAEの学習目的を併用した自己符号化器アーキテクチャ内にHA-GCNモジュールを適用し、グラフ生成モデリングに応用する。
• kホップ近傍における反復的集約を通じて特徴を更新するメッセージパッシング型アーキテクチャを採用する。
• 学習された畳み込みおよびフィルタ重みを可視化し、モデルの挙動を解釈し、芳香族環の重要性やオルト・パラ効果といった化学的直観を検証する。

実験結果

リサーチクエスチョン

• RQ1 k階畳み込み演算子は、第一近傍ノードを超えるグラフ構造データにおける長距離依存関係を効果的に捉えることができるか？
• RQ2 局所構造と特徴に基づいて隣接ノードの重みを動的に設定する適応フィルタリング機構は、グラフ学習タスクの性能を向上させるか？
• RQ3 統一されたGCNフレームワークは、ノード中心、グラフ中心、およびグラフ生成モデリングのすべてのタスクで最先端の性能を達成できるか？
• RQ4 適応フィルタは、芳香族環の好ましさやオルト・パラ則といった化学的意味のあるパターン（例：オルト・パラ効果）をどの程度学習できるか？
• RQ5 薬剤発見や材料設計の文脈において、HA-GCNは既存のモデルと比較して、有効かつ多様な分子をどの程度多く生成できるか？

主な発見

• HA-GCNはノード分類および分子性質予測タスクで最先端の性能を達成し、既存のGCNモデルを上回った。
• 先行の最良モデルであるRNNベースの文法VAEと比較して、32%も有効な分子を多く生成した。AAEを用いた場合23.6%、VAEを用いた場合20.3%の有効分子率を達成した。
• 畳み込み重みの可視化により、隣接行列の対称性に起因する対称的なパターンと、高階畳み込みに伴い中心ノードの重みが増加する傾向が確認された。
• 適応フィルタは芳香族環上の原子を優先的に重み付けし、有機フォトボルタイックス効率に関する化学的直観と整合した。
• 適応フィルタはベンゼン環におけるオルト・パラ則を自動的に学習し、中心原子の反対および隣接位置にある置換基に高い重みを割り当てた。
• 高階畳み込みモジュールは不可欠であることが示された。高階重み行列の非対角ブロックに大きな値が観察され、非自明な長距離相互作用が存在することが裏付けられた。