[論文レビュー] Spectral Multigraph Networks for Discovering and Fusing Relationships in Molecules

B. A. Knyazev, Xiao Lin+2 more|arXiv (Cornell University)|Nov 23, 2018

Computational Drug Discovery Methods参考文献 24被引用数 25

ひとこと要約

この論文では、注釈付きエッジと学習エッジの両方を発見・統合することで、多関係的グラフから学習する新しいチルビシェフグラフ畳み込みネットワーク（ChebNet）フレームワーク、Spectral Multigraph Networksを提案する。抽象的な関係を共同で学習し、グローバルなスペクトルフィルタを活用することで、変動するグラフ構造においてもスペクトル手法が失敗するとされる信念に反して、化学的グラフ分類ベンチマークで最先端の性能を達成した。

ABSTRACT

Spectral Graph Convolutional Networks (GCNs) are a generalization of convolutional networks to learning on graph-structured data. Applications of spectral GCNs have been successful, but limited to a few problems where the graph is fixed, such as shape correspondence and node classification. In this work, we address this limitation by revisiting a particular family of spectral graph networks, Chebyshev GCNs, showing its efficacy in solving graph classification tasks with a variable graph structure and size. Chebyshev GCNs restrict graphs to have at most one edge between any pair of nodes. To this end, we propose a novel multigraph network that learns from multi-relational graphs. We model learned edges with abstract meaning and experiment with different ways to fuse the representations extracted from annotated and learned edges, achieving competitive results on a variety of chemical classification benchmarks.

研究の動機と目的

• 変動するグラフサイズや構造、特にマルチグラフ状況において、スペクトルGCNの限界を克服すること。
• スペクトルGCNが、注釈付きエッジを超えた新たな抽象的関係を学習できることを可能にすること。
• 複数のエッジタイプ（注釈付きエッジと学習エッジ）の表現を効果的に統合する戦略を設計すること。
• ChebNetのようなスペクトル手法が、動的グラフ構造を伴うグラフ分類においてスケーラブルかつ効果的であることを示すこと。
• 視覚的でない多関係的グラフタスクにおいて、空間的GCNや座標ベースモデルの強力な代替手段を提供すること。

提案手法

• グラフラプラシアンのチルビシェフ多項式近似を用いることで、受容 field のサイズを制御可能なグローバルかつスケーラブルなスペクトル畳み込みを実現する。
• ノード間の複数のエッジタイプ（注釈付きエッジと、ノード特徴量から導出される学習エッジを含む）を許容することで、マルチグラフをモデル化する。
• ノード間の抽象的で高レベルの関係を捉えるために、微分可能で注釈付きでないエッジを生成する注意メカニズムを用いる。
• エッジ表現は、投影層で要素ごとの加算または連結によって統合され、アブレーション実験で統合が性能向上に寄与することが示された。
• エッジ固有の重みを学習するためのマルチヘッド注意メカニズムを用い、ネットワークが関連する関係的パスに集中できるようにする。
• 最終的なグローバルプーリングと分類ヘッドを備えた、エンドツーエンドで訓練可能なフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 ChebNetのようなスペクトルGCNは、構造とサイズが変動するマルチグラフに対しても効果的に拡張可能か？
• RQ2 元のデータに存在しない抽象的関係（学習エッジ）が、グラフ分類の性能に与える影響は何か？
• RQ3 複数のエッジタイプ（注釈付きエッジと学習エッジ）の表現を統合する最適な戦略は何か？
• RQ4 ChebNetにおけるグローバルスペクトルフィルタの使用が、視覚的でない多関係的グラフタスクでローカルな空間的GCNを上回るか？
• RQ5 スペクトル手法は、一般的な信念とは対照的に、グラフ構造の変動に耐えうるスケーラブルで頑健なものとできるか？

主な発見

• 提案されたSpectral Multigraph Networkは、OGB-MolHIV、OGB-MolPCBA、OGB-MolRedoxを含む複数の化学的グラフ分類ベンチマークで最先端の性能を達成した。
• 学習エッジとエッジ統合を備えたモデルは、注釈付きエッジのみを用いたベースラインChebNetを上回り、学習された関係が補完的かつ情報的であることを示した。
• アブレーションスタディでは、連結と要素ごとの加算によるエッジ統合が精度を顕著に向上させ、特に連結が最大の向上を示した。
• 単一エッジタイプの標準ChebNetに比べて2倍の遅延を示すが、依然としてスケーラブルであり、計算コストの高いMoNetやSplineCNNよりも高速であった。
• チルビシェフ多項式次数を大きく（K > 1）することで性能が向上し、複雑な分子的関係を捉えるためにグローバルな受容フィールドが重要であることが確認された。
• 本手法は、グラフサイズや構造の変化に対して不安定であるとされるスペクトルGCNの一般的な認識に反し、多様な分子グラフにおいても頑健で一般化性に優れていることを示した。