[論文レビュー] Graph Neural Network Architecture Search for Molecular Property Prediction

Shengli Jiang, Prasanna Balaprakash|arXiv (Cornell University)|Aug 27, 2020

Computational Drug Discovery Methods参考文献 35被引用数 5

ひとこと要約

本論文は、正則化進化を用いたニューラルアーキテクチャサーチ（NAS）フレームワークを提案し、分子特性予測のための最適なメッセージパッシングニューラルネットワーク（MPNN）アーキテクチャを自動で発見する。エッジ特徴量、スキップ接続、包括的な探索空間を組み込むことで、MoleculeNetベンチマークデータセット上で手動で設計されたモデルを上回る高性能なMPNNが発見され、分子機械学習におけるアーキテクチャカスタマイズの重要性が示された。

ABSTRACT

Predicting the properties of a molecule from its structure is a challenging task. Recently, deep learning methods have improved the state of the art for this task because of their ability to learn useful features from the given data. By treating molecule structure as graphs, where atoms and bonds are modeled as nodes and edges, graph neural networks (GNNs) have been widely used to predict molecular properties. However, the design and development of GNNs for a given data set rely on labor-intensive design and tuning of the network architectures. Neural architecture search (NAS) is a promising approach to discover high-performing neural network architectures automatically. To that end, we develop an NAS approach to automate the design and development of GNNs for molecular property prediction. Specifically, we focus on automated development of message-passing neural networks (MPNNs) to predict the molecular properties of small molecules in quantum mechanics and physical chemistry data sets from the MoleculeNet benchmark. We demonstrate the superiority of the automatically discovered MPNNs by comparing them with manually designed GNNs from the MoleculeNet benchmark. We study the relative importance of the choices in the MPNN search space, demonstrating that customizing the architecture is critical to enhancing performance in molecular property prediction and that the proposed approach can perform customization automatically with minimal manual effort.

研究の動機と目的

• 分子特性予測のためのメッセージパッシングニューラルネットワーク（MPNN）の設計を自動化し、手動でのチューニングを低減するとともに性能を向上させる。
• 分子データセットにおける低データ効率性と非ユークリッド構造の課題に対処するため、データ固有の自動アーキテクチャサーチ手法を開発する。
• エッジ特徴量、スキップ接続、および設定可能なMPNNコンポonent（例：アテンション、集約、活性化）を含む、より良い一般化性能を実現する新しい探索空間を確立する。
• NASの有効性を評価し、MoleculeNetデータセット上で手動で設計されたベースラインを上回るタスク固有のMPNNアーキテクチャを発見する。
• 感度解析を用いてMPNNにおけるアーキテクチャ選択の相対的重要性を調査し、将来のモデル開発を支援する。

提案手法

• 状態次元、アテンション機構、アテンションヘッド、集約関数、活性化関数、更新関数、収集操作、およびスキップ接続を含む包括的なMPNN探索空間を定義する。
• DeepHyper AutoMLフレームワーク内に、探索空間を効率的かつ非同期に探索できる正則化進化（RE）探索戦略を実装する。
• NAS中での候補アーキテクチャの評価に、検証損失に基づく報酬信号を用い、モデルを延長されたエポック数で再訓練することで、性能比較の信頼性を確保する。
• エッジ特徴量を、アテンション重みを生成する学習可能なニューラルネットワークを介してメッセージパッシングに統合し、化学的結合の性質を捉える能力を向上させる。
• ランダムフォレストベースの非パラメトリック感度解析を適用し、異なるデータセットにおける各アーキテクチャハイパーパrameterの重要度を定量化する。
• 15、30、60のコンputingノードを用いて、REとランダムサーチ（RS）の収束速度、高性能アーキテクチャの発見数、スケーラビリティの観点から比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャサーチ（NAS）は、手動で設計されたモデルを上回る高性能なMPNNアーキテクチャを、分子特性予測のための自動発見が可能か？
• RQ2 探索空間にエッジ特徴量とスキップ接続を組み込むことで、分子データセット上でのMPNNの性能にどのような影響を与えるか？
• RQ3 異なる分子特性予測タスクにおいて、MPNNのアーキテクチャコンポーネント（例：アテンション、集約、活性化）の相対的重要度は何か？
• RQ4 正則化進化（RE）探索戦略は、高性能なMPNNアーキテクチャを発見する面で、ランダムサーチ（RS）を上回る効率性と性能を示すか？
• RQ5 最適なMPNNアーキテクチャが異なる分子データセットでどのように変化するかを検証し、データ固有のカスタマイズの必要性を示すか？

主な発見

• 正則化進化（RE）を用いた自動で発見されたMPNNアーキテクチャは、MoleculeNetベンチマークのすべてのデータセットで、検証損失およびテスト損失の両面で、すべての手動で設計されたMPNNを上回った。
• 正則化進化（RE）は、ランダムサーチ（RS）よりもより多くの高性能アーキテクチャを発見し、短いウォルクロックタイムでより高い性能を達成しており、優れた探索効率を示した。
• エッジ特徴量、アテンション機構、およびスキップ接続を含む探索空間は、これらのコンポーネントを備えない標準的なMPNNと比較して、顕著にモデル性能を向上させた。
• 感度解析により、アテンション機構、集約関数、活性化関数などのアーキテクチャ選択が、データセットに応じて異なる重要度を持つことが判明し、データ固有のアーキテクチャ設計の必要性が強調された。
• REベースのNAS手法は、15、30、60のコンputingノードで効果的にスケーリングされ、探索品質に劣化を来さずに一貫した性能向上を達成した。
• 結果から、分子特性予測においてアーキテクチャカスタマイズが極めて重要であり、NASが最小限の手作業でこのプロセスを自動化できることを示した。