[論文レビュー] Reinforced Molecular Optimization with Neighborhood-Controlled Grammars

Chencheng Xu, Qiao Liu+2 more|arXiv (Cornell University)|Nov 14, 2020

Computational Drug Discovery Methods参考文献 2被引用数 15

ひとこと要約

本稿では、所望の特性を有する化学的に妥当な分子を生成するために、近傍制御埋め込み文法を用いた強化学習フレームワークMNCE-RLを提案する。分子グラフを推定された文法を介して解析木に変換し、グラフ畳み込み方策ネットワークを用いることで、最小限の特性評価で最先端の性能を達成し、従来手法に比べて妥当性と特性最適化の効率性において顕著に優れている。

ABSTRACT

A major challenge in the pharmaceutical industry is to design novel molecules with specific desired properties, especially when the property evaluation is costly. Here, we propose MNCE-RL, a graph convolutional policy network for molecular optimization with molecular neighborhood-controlled embedding grammars through reinforcement learning. We extend the original neighborhood-controlled embedding grammars to make them applicable to molecular graph generation and design an efficient algorithm to infer grammatical production rules from given molecules. The use of grammars guarantees the validity of the generated molecular structures. By transforming molecular graphs to parse trees with the inferred grammars, the molecular structure generation task is modeled as a Markov decision process where a policy gradient strategy is utilized. In a series of experiments, we demonstrate that our approach achieves state-of-the-art performance in a diverse range of molecular optimization tasks and exhibits significant superiority in optimizing molecular properties with a limited number of property evaluations.

研究の動機と目的

• 特性評価が高価で限られた条件下で、所望の特性を有する化学的に妥当な分子を生成する課題に対処すること。
• SMILESベースの生成における頑健性の欠如と妥当性の問題を克服するため、グラフベースの分子表現を用いること。
• 文法誘導型強化学習フレームワークを用いて、膨大な化学空間を効率的に探索可能とすること。
• 大量のラベル付き分子データに依存することを減らし、少ない特性評価で効果的な最適化を可能とすること。
• 抗菌活性やlogPなどの複雑な現実世界の分子特性を最適化しつつ、高い化学的妥当性を維持する手法を開発すること。

提案手法

• 本手法は、分子グラフから生じる生成規則を推定することで分子を解析木として表現する、分子近傍制御埋め込み（NCE）文法を導入する。
• グラフ畳み込みネットワーク（GCN）を用いてノードおよびエッジ特徴量を更新し、微細な結合差を捉えることで方策学習の精度を向上させる。
• 分子生成プロセスをマルコフ決定過程（MDP）としてモデル化し、強化学習エージェントが生成規則を選択することで、段階的に妥当な分子構造を生成する。
• 報酬関数として特性評価関数を用い、報酬は学習分類器やシミュレーション（実際の評価が高コストな場合）を用いる。方策ネットワークは報酬勾配法により学習される。
• 与えられた分子から文法的生成規則を効率的に推定するアルゴリズムを導入し、多様な分子スケルトンに一般化可能である。
• 推定された文法規則に従う構造に限定して生成を行うことで、化学的妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 文法ベースのアプローチは、化学的妥当性を保証しつつ、化学空間の効率的探索を可能にするか？
• RQ2 限られた数の特性評価しか利用できない状況下で、強化学習エージェントが分子特性をどの程度効果的に最適化できるか？
• RQ3 グラフベースの生成手法は、SMILESベースや変分オートエンコーダーに基づく手法に比べ、高い特性スコアの分子を生成できるか？
• RQ4 少ない数のラベル付き例で学習し、既知の評価関数がない状況下でも、同手法がどの程度バイオアクティブな分子を生成できるか？
• RQ5 GCNにおけるエッジ特徴量の更新を組み込むことで、分子生成における方策意思決定の質が向上するか？

主な発見

• MNCE-RLは、限られた評価回数での特性最適化タスクにおいて、9.88という最高のペナルティ付きlogPスコアを達成し、すべてのベースラインを顕著に上回った。
• MNCE-RLが生成した上位50分子の平均ペナルティ付きlogPスコアは8.31であり、無制限の評価が可能な最良のベースライン（MHG-VAE）をも上回った。
• 抗菌性特性生成タスクでは、上位10分子すべてがキナーゼ、プロテアーゼ、または酵素阻害剤スコア0.2以上を達成し、うち6つが0.5以上を記録しており、高いバイオアクティビティを示した。
• MNCE-RLはすべての生成で100％の妥当性を維持し、後処理によるスクリーニングなしに化学的に妥当な分子を生成した。
• わずか2,337個のラベル付き分子でも、高い予測バイオアクティビティを持つ分子を生成でき、低データ環境下でも優れた性能を示した。
• 報酬関数が偏った分類器であっても、モデルの性能は優れたままであり、不完全な評価信号に対しても頑健であることが示された。