[論文レビュー] Spatial Graph Attention and Curiosity-driven Policy for Antiviral Drug Discovery

Yulun Wu, Mikaela Cashman+14 more|arXiv (Cornell University)|Jun 4, 2021

Computational Drug Discovery Methods参考文献 58被引用数 8

ひとこと要約

本稿では、空間的グラフアテンションと好奇心駆動型探索を組み合わせることで、合成可能で新しい分子を生成する強化学習フレームワークであるDistilled Graph Attention Policy Network (DGAPN) を提案する。この手法は、SARS-CoV-2 NSP15 への結合親和性を最適化する上で最先端の性能を達成し、既存の手法を上回る一方で、合成の複雑さを低く保っている。

ABSTRACT

We developed Distilled Graph Attention Policy Network (DGAPN), a reinforcement learning model to generate novel graph-structured chemical representations that optimize user-defined objectives by efficiently navigating a physically constrained domain. The framework is examined on the task of generating molecules that are designed to bind, noncovalently, to functional sites of SARS-CoV-2 proteins. We present a spatial Graph Attention (sGAT) mechanism that leverages self-attention over both node and edge attributes as well as encoding the spatial structure -- this capability is of considerable interest in synthetic biology and drug discovery. An attentional policy network is introduced to learn the decision rules for a dynamic, fragment-based chemical environment, and state-of-the-art policy gradient techniques are employed to train the network with stability. Exploration is driven by the stochasticity of the action space design and the innovation reward bonuses learned and proposed by random network distillation. In experiments, our framework achieved outstanding results compared to state-of-the-art algorithms, while reducing the complexity of paths to chemical synthesis.

研究の動機と目的

• 抗ウイルス薬の発見を目的とした、特定のタンパク質の結合部位を標的にする自動的かつ効率的なデ・ノボ分子生成フレームワークの開発。
• 巨大で離散的な化学空間を探索する際の課題に直面しつつも、分子の妥当性および物理的制約を維持すること。
• ランダムネットワーク蒸留を用いた好奇心駆動型報酬の統合により、強化学習における探索を改善すること。
• 原子ごとの生成ではなく断片ベースの行動空間を用いることで、生成された分子の合成複雑性を低減すること。
• 結合親和性、合成可能性、およびドラッグライクネスをバランスさせる、マルチオブジェクティブな分子設計の最適化。

提案手法

• ノード中心のメッセージパッシング方式を用い、ノードおよびエッジの属性に加え空間的構造を符号化するノードセントリックな空間的グラフアテンション機構（sGAT）を導入する。
• 動的で断片ベースの化学的行動空間上で動作するポリシー勾配に基づく強化学習エージェントを採用し、化学的に妥当な分子を生成する。
• スパースな報酬環境における探索を向上させるために、ランダムネットワーク蒸留を用いて内部的な好奇心報酬を学習する。
• 隣接行列、属性、空間的構造の符号化を統合するハイブリッドGNNアーキテクチャを適用し、明示的な3次元座標に依存しない。
• 安定性を向上させるための蒸留報酬信号を用いて、最先端のポリシー勾配技術を応用してポリシーネットワークを訓練する。
• 分子ドッキングスコア、QED、および合成可能性（SA）を組み合わせたマルチオブジェクティブ報酬関数を実装し、生成をガイドする。

実験結果

リサーチクエスチョン

• RQ1 空間的構造とエッジ属性を符号化するグラフアテンション機構は、強化学習における分子生成を改善できるか？
• RQ2 ランダムネットワーク蒸留を用いた好奇心駆動型探索は、化学空間におけるサンプル効率と多様性をどのように向上させるか？
• RQ3 断片ベースの行動空間は、高い結合親和性を維持しつつも、合成複雑性を低減できるか？
• RQ4 提案されたDGAPNフレームワークは、SARS-CoV-2 NSP15 へのドッキングスコアが優れた分子を生成する面で、既存の最先端手法をどれほど上回るか？
• RQ5 マルチオブジェクティブ最適化は、生成化合物の結合親和性、ドラッグライクネス、合成可能性をどれほど適切にバランスさせるか？

主な発見

• DGAPN は、SARS-CoV-2 NSP15 への結合親和性において、REINVENT や JTVAE、GCPN、MolDQN、MARS などの先行手法を上回る最先端の分子ドッキングスコアを達成した。
• マルチオブジェクティブ最適化下での上位3つの生成分子は、高いドッキングスコア（ベースライン比較の最良分子の90％以上を上回る）を示し、好適な QED および SA 値を有していた。
• 断片ベースのアセンブリにより合成複雑性が低減され、より現実的で効率的な合成経路の実現が可能になった。
• 好奇心駆動型探索は、化学空間の広範なカバレッジとトレーニング中の報酬分散の増加によって、サンプル効率と多様性の向上が顕著に確認された。
• ドッキング親和性とドラッグライクネス（QED/SA）の間にはトレードオフが観察されたが、これによりモデルが競合する目的を適切にバランスさせていることが裏付けられた。
• 空間的グラフアテンション機構は、構造的および化学的情報を効果的に符号化し、空間的符号化なしのモデルと比較して、より高品質な分子生成に寄与した。