[論文レビュー] Guiding Deep Molecular Optimization with Genetic Exploration

Sungsoo Ahn, Junsu Kim+2 more|arXiv (Cornell University)|Jul 4, 2020

Computational Drug Discovery Methods参考文献 69被引用数 26

ひとこと要約

本論文は、分野特有の遺伝的演算子（変異および交差）を模倣学習のための監視信号として統合することで、分子生成を向上させる、新しい深層学習フレームワークである遺伝的エキスパートガイドドラーニング（GEGL）を提案する。遺伝的探索によって生成された高性能な分子を模倣するようにニューラルネットワークを訓練することにより、GEGLは最先端の性能を達成し、ペナルティ付きlogPスコアが31.40に達するなど、先行手法を大きく上回り、GuacaMolベンチマークの3つのタスクでパーフェクトスコアを達成する。

ABSTRACT

De novo molecular design attempts to search over the chemical space for molecules with the desired property. Recently, deep learning has gained considerable attention as a promising approach to solve the problem. In this paper, we propose genetic expert-guided learning (GEGL), a simple yet novel framework for training a deep neural network (DNN) to generate highly-rewarding molecules. Our main idea is to design a "genetic expert improvement" procedure, which generates high-quality targets for imitation learning of the DNN. Extensive experiments show that GEGL significantly improves over state-of-the-art methods. For example, GEGL manages to solve the penalized octanol-water partition coefficient optimization with a score of 31.40, while the best-known score in the literature is 27.22. Besides, for the GuacaMol benchmark with 20 tasks, our method achieves the highest score for 19 tasks, in comparison with state-of-the-art methods, and newly obtains the perfect score for three tasks.

研究の動機と目的

• 生成可能な化学空間が極めて広大であるため、新規分子設計においてその探索を効率的に行う課題に対処すること。
• 分野特有の遺伝的演算子を深層ニューラルネットワークの学習に統合し、分子最適化を向上させること。
• エキスパートが生成した高報酬分子を活用することで、分子生成におけるサンプルの複雑さを低減すること。
• 構造的で知識に基づいた探索を用いて、深層生成モデルの性能を向上させること。

提案手法

• DNNが生成した分子に変異および交差を適用する遺伝的エキスパートポリシーを導入し、高品質で高報酬の候補を生成する。
• 模倣学習を用いて、エキスパートポリシーの高性能な分子を模倣するようにDNNをアーリアントポリシーとして訓練する。
• 最大報酬優先キューを用いて、最も報酬の高い分子を保存・維持し、学習中の深刻な忘却を防ぐ。
• 生成プロセスを強化学習の問題として定式化し、報酬を望ましい分子特性スコアとする。
• DNNが生成した分子に遺伝的演算子を適用して、多様で化学的に妥当な候補を生成し、特性スコアを向上させる。
• エキスパートポリシーの出力を学習ループに統合し、反復的にアーリアントポリシーの生成能力を改善する。

実験結果

リサーチクエスチョン

• RQ1 遺伝的演算子は、分子生成における深層ニューラルネットワークの学習を効果的にガイドできるか？
• RQ2 エキスパートガイドド探索と模倣学習を組み合わせることで、新規分子設計におけるサンプル効率と性能がどのように向上するか？
• RQ3 DNNが模倣学習により遺伝的エキスパートポリシーの性能をどれほど正確に再現できるか？
• RQ4 遺伝的演算子による分野特有の知識統合は、純粋にエンドツーエンドの深層学習アプローチを上回るのか？
• RQ5 提案されたフレームワークは、複雑な制約を伴うタスクを含め、多様な分子設計タスクに一般化可能か？

主な発見

• GEGLはペナルティ付きオクタノール-水分配係数スコアが31.40に達し、最高の先行手法（27.22）を大きく上回った。
• GuacaMolベンチマークにおいて、20のタスクのうち19で最高スコアを記録し、3つの新しいパーフェクトスコアを達成した。
• アブレーションスタディの結果、DNNアーリアントと遺伝的エキスパートポリシーの両方が不可欠であることが確認され、いずれかを削除すると性能が低下した。
• 初期学習段階において、エキスパートポリシーの優先キュー（$\mathcal{Q}_{\mathtt{ex}}$）はアーリアントのキュー（$\mathcal{Q}$）よりも常に高品質な分子を生成した。
• 時間の経過とともに、アーリアントポリシーはエキスパートポリシーの性能を上回るようになり、有効な知識蒸留が行われたことが示された。
• 最大報酬優先キューの使用は、学習イテレーション全体にわたり、サンプル効率と性能の保持を顕著に向上させた。