[論文レビュー] Convolutional Networks on Graphs for Learning Molecular Fingerprints

David Duvenaud, Dougal Maclaurin+5 more|arXiv (Cornell University)|Sep 30, 2015

Computational Drug Discovery Methods参考文献 20被引用数 905

ひとこと要約

この論文は、分子グラフに直接作用する微分可能でエンドツーエンド学習可能な畳み込みニューラルネットワークを導入し、データ駆動型の分子フィンガープrintを学習する。固定された円形フィンガープリントに代えて学習可能なグラフ畳み込み特徴量を用いることで、溶解度、ドラッグ効果、有機太陽電池効率の各タスクにおいて、予測性能の向上、解釈可能性の向上、モデルの複雑さの低減を達成した。

ABSTRACT

We introduce a convolutional neural network that operates directly on graphs. These networks allow end-to-end learning of prediction pipelines whose inputs are graphs of arbitrary size and shape. The architecture we present generalizes standard molecular feature extraction methods based on circular fingerprints. We show that these data-driven features are more interpretable, and have better predictive performance on a variety of tasks.

研究の動機と目的

• 特定の予測タスクに最適化できない固定サイズの手作業で作成された分子フィンガープリントの限界を解消すること。
• 分子グラフ（原子をノード、結合をエッジとして）に直接作用する微分可能でエンドツーエンド学習可能なニューラルネットワークアーキテクチャを開発すること。
• 固定されたフィンガープリント手法に依存せず、タスク固有のデータ駆動型フィンガープリントを学習することで、分子特性予測の性能を向上させること。
• 構造的に類似した断片に対して特徴量が反応することを可能にすることで、従来のフィンガープリントがすべてのサブ構造を別個に扱うのとは異なり、解釈可能性を向上させること。
• すべての可能なサブ構造をエンコードするのではなく、関連するタスク固有の特徴量のみを学習することで、計算コストと正則化の負担を軽減すること。

提案手法

• 各層が原子とその局所的近傍に学習可能な微分可能フィルタを適用し、和集合による集約によって置換不変性を維持するグラフ畳み込みネットワーク（GCN）アーキテクチャを採用する。
• 従来のECPFのような円形フィンガープリントにおける離散的ハッシュ化ステップを、tanhなどの非線形活性化関数を用いた微分可能なニューラル層に置き換える。
• グローバルプーリングステップでは、従来のフィンガープリントにおけるインデックス指定ステップの微分可能アナログとしてソフトマックス操作を用い、グラフから固定長の出力ベクトルを生成する。
• バックプロパゲーションを用いてエンドツーエンドで訓練することで、グラフ演算を介して勾配が流れ込み、特徴抽出プロセスが最適化可能になる。
• 勾配降下法による最適化が可能になるように、特徴抽出プロセスをチューニング可能な微分可能で学習可能なプロセスにすることで、標準的な円形フィンガープリントを一般化する。
• 正規化の代わりに置換不変な集約（例：和集合）を用いることで、原子の順序に依存しないスケーラブルなアーキテクチャを実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で学習可能なフィンガープリント手法は、多様な分子特性予測タスクにおいて、固定された手作業で作成された分子フィンガープリントを上回る性能を発揮できるか？
• RQ2 学習可能なグラフ特徴量は、構造的に関連する断片同士の類似性を捉えることで、どの程度解釈可能性を向上させられるか？
• RQ3 ニューラルフィンガープリントパイプラインをエンドツーエンドで訓練することで、巨大でスパースなフィンガープリントベクトルの必要性が軽減され、計算効率が向上するか？
• RQ4 提案手法のニューラルグラフフィンガープリントは、ECFPなどの最先端手法と比較して、下流モデルへの入力として使用した場合に、どの程度の性能を示すか？
• RQ5 学習された特徴量は、任意のインデックスではなく、化学的に意味のあるサブ構造を表していると意味的に解釈できるか？

主な発見

• 提案されたニューラルグラフフィンガープリントは、溶解度、ドラッグ効果、有機太陽電池効率予測タスクにおいて、標準的なECFPフィンガープリントと同等またはそれ以上の性能を達成した。
• タスク固有の関連する特徴量のみを学習することで、従来の研究で見られた43,000次元のような極めて大きなフィンガープリントベクトルの必要性を低減し、下流の計算コストと正則化コストを低下させた。
• 学習された特徴量は、類似したが同一ではない分子断片に対して反応するため、化学的類似性を反映しており、解釈性が向上している。
• 特徴抽出プロセスを微分可能かつ学習可能にすることで、円形フィンガープリントを一般化し、パイプライン全体を勾配ベースで最適化可能にした。
• 和集合による集約を用いることで、木ベースのグラフニューラルネットワークの$ ext{O}(F^2N^2) $の複雑さを回避し、大規模分子に対してもスケーラブルである。
• モデルは、各層が反復的推論プロセスのステップに相当する、メッセージパッシングアルゴリズムのアンロールド版と見なせる。