[論文レビュー] Multiple-objective Reinforcement Learning for Inverse Design and Identification

Haoran Wei, Mariefel V. Olarte+1 more|arXiv (Cornell University)|Oct 9, 2019

Computational Drug Discovery Methods参考文献 20被引用数 4

ひとこと要約

本論文では、複数の目的を持つ逆分子設計および同定のためのカリキュラム学習を強化した強化学習フレームワークを提案している。このフレームワークにより、分子量や機能性基などの最大21の制約を同時に満たす分子の生成が可能になった。報酬関数を、未だ十分に学習されていない目的を優先するように精緻化することで、未知の分子を83–100%の成功率で同定することができ、ベースライン手法が完全に失敗するのに対し優れた性能を発揮した。

ABSTRACT

The aim of the inverse chemical design is to develop new molecules with given optimized molecular properties or objectives. Recently, generative deep learning (DL) networks are considered as the state-of-the-art in inverse chemical design and have achieved early success in generating molecular structures with desired properties in the pharmaceutical and material chemistry fields. However, satisfying a large number (larger than 10 objectives) of molecular objectives is a limitation of current generative models. To improve the model's ability to handle a large number of molecule design objectives, we developed a Reinforcement Learning (RL) based generative framework to optimize chemical molecule generation. Our use of Curriculum Learning (CL) to fine-tune the pre-trained generative network allowed the model to satisfy up to 21 objectives and increase the generative network's robustness. The experiments show that the proposed multiple-objective RL-based generative model can correctly identify unknown molecules with an 83 to 100 percent success rate, compared to the baseline approach of 0 percent. Additionally, this proposed generative model is not limited to just chemistry research challenges; we anticipate that problems that utilize RL with multiple-objectives will benefit from this framework.

研究の動機と目的

• 多数の分子性質制約を扱える深層学習フレームワークを、逆分子設計および同定のために開発すること。
• 5つ以上の目的を同時に最適化する際、生成モデルの性能が低下する問題を克服すること。
• 強化学習を用いたマルチ目的分子生成におけるロバスト性と収束性を向上させること。
• スペクトル的および構造的制約から、未知の有機分子を正確に同定できること。
• 人為的に設計された行動に依存するのを減らし、制約を直接報酬関数に埋め込むこと。

提案手法

• 生成的RNNを用いてSMILES文字列を生成する強化学習エージェントを訓練する。
• 分子量や機能性基などの制約を、強化学習の報酬関数の一部として符号化する。
• カリキュラム学習を適用し、訓練を段階に分け、段階的に有効な制約の数を増やす。
• 弱く学習された目的を特定し、優先順位をつけるためのヒューリスティックを導入する。制約スコア比に閾値（ξ = 0.5）を適用して選択する。
• 精緻化された制約関数C′は、初期段階では学習が不十分な制約を除外し、後続段階で再導入することで、局所最適解に陥るのを回避する。
• モデルの評価には、上位5件の報酬スコアと、ターゲット分子との構造的類似度を用いる。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づく生成モデルは、10個以上の分子的目標を同時に最適化するのに効果的か？
• RQ2 カリキュラム学習は、標準的な強化学習訓練と比較して、マルチ目的分子生成の性能をどのように向上させるか？
• RQ3 カリキュラム段階の数と制約優先順位ヒューリスティックの影響は、モデルの収束性と正確性にどのような影響を与えるか？
• RQ4 モデルは、構造的および性質的制約の集合から、高精度に未知の分子を同定できるか？
• RQ5 一部の高報酬予測が、高い構造的類似度を達成できない理由は何か？この問題は緩和可能か？

主な発見

• 提案モデルは、5体の未知ターゲット分子のうち4体を83–100%の成功率で同定したのに対し、ベースライン手法は0%であった。
• モデルは、全5体のテスト分子において、最大の上位5件報酬スコアを達成し、複数の目的の最適化が有効に行われたことを示した。
• 適応的制約重み付けを施した精緻化されたカリキュラムヒューリスティックにより、特に初期段階での性能が低かったターゲット4および5において、構造的類似度が顕著に向上した。
• カリキュラム段階が多すぎたモデルは、性能が悪化した。これは、過剰に段階を細分化すると、エージェントが最適でない局所最適解に陥りやすくなる可能性を示唆している。
• 弱く学習された制約を特定し、優先順位をつけるための閾値ベースのヒューリスティック（ξ = 0.5）を用いることで、最終的な性能とロバスト性が向上した。
• このフレームワークは、強化学習にカリキュラム学習を組み合わせることで、最大21個の分子制約を同時に処理できることを示した。これは、現在の生成モデルの適用範囲を顕著に拡大するものである。