[論文レビュー] Augmented Memory: Capitalizing on Experience Replay to Accelerate De Novo Molecular Design

Jeff J. Guo, Philippe Schwaller|arXiv (Cornell University)|May 10, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文では、SMILESデータ拡張と経験再生を組み合わせることで、サンプル効率を向上させる強化学習アルゴリズムであるAugmented Memoryを提案する。高得点のオラクル結果を複数の学習更新で再利用し、低多様性の分子を効果的に除外することで、10,000回のオラクル呼び出し制約下で23のタスクのうち19で先行手法を上回る最先端の性能を達成した。

ABSTRACT

Sample efficiency is a fundamental challenge in de novo molecular design. Ideally, molecular generative models should learn to satisfy a desired objective under minimal oracle evaluations (computational prediction or wet-lab experiment). This problem becomes more apparent when using oracles that can provide increased predictive accuracy but impose a significant cost. Consequently, these oracles cannot be directly optimized under a practical budget. Molecular generative models have shown remarkable sample efficiency when coupled with reinforcement learning, as demonstrated in the Practical Molecular Optimization (PMO) benchmark. Here, we propose a novel algorithm called Augmented Memory that combines data augmentation with experience replay. We show that scores obtained from oracle calls can be reused to update the model multiple times. We compare Augmented Memory to previously proposed algorithms and show significantly enhanced sample efficiency in an exploitation task and a drug discovery case study requiring both exploration and exploitation. Our method achieves a new state-of-the-art in the PMO benchmark which enforces a computational budget, outperforming the previous best performing method on 19/23 tasks.

研究の動機と目的

• 高価なオラクルによる評価回数が制限される中で、サンプル効率の向上という重要な課題に取り組むこと。
• 経験再生とSMILES拡張を活用することで、REINVENTのようなポリシーに基づく強化学習モデルの性能を向上させること。
• 新しい選択的メモリ消去メカニズムにより、サンプル効率を高める一方で分子の多様性を維持すること。
• Practical Molecular Optimization (PMO)ベンチマークに、Augmented MemoryおよびBARの新規実装を追加し、厳密な比較を可能にすること。
• 実利用の薬物発見シナリオや、報酬が希少な状況においても優れた最適化効率を示すことを実証すること。

提案手法

• 再利用可能なスコアの高い分子を保存するためのリプレイバッファを用い、1回のオラクル呼び出しで複数回のポリシー更新を可能にする。
• 同じ分子の異なるSMILES表現を生成するSMILES拡張を適用し、複数の学習更新で同じオラクルスコアを再利用する。
• 事前モデルの対数尤度とスケーリングされたオラクルスコアを組み合わせて、サーヴィレート報酬を計算する拡張尤度を算出する。
• 1エポックあたり複数回の学習更新を実行する：オリジナルのサンプルと拡張SMILESの両方で、同じ報酬信号を使用する。
• リプレイバッファを反復的に更新し、必要に応じて多様性フィルタを用いて不適切なスケルトンを持つ分子を削除する。
• 最終的な損失関数は、オリジナルおよび拡張SMILESシーケンスからの更新を統合することで、ポリシー学習の効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 制限された計算リソース下で、経験再生がポリシーに基づく分子生成におけるサンプル効率を顕著に向上させ得るか？
• RQ2 経験再生と組み合わせた場合、SMILESデータ拡張が学習効率をどの程度向上させるか？
• RQ3 選択的メモリ消去メカニズムは、サンプル効率の向上を維持しつつ、分子の多様性を保つことができるか？
• RQ4 Augmented Memoryは、REINVENT や BAR といった最先端の手法と比較して、多様な分子設計タスクにおける最適化性能で優れているか？
• RQ5 提案手法は、報酬が希少な複雑な実世界の薬物発見シナリオや、制御された最適化タスクの両方で汎用性を示せるか？

主な発見

• Augmented MemoryはPMOベンチマークで新たな最先端性能を達成し、10,000回のオラクル呼び出し制約下で23のタスクのうち19で、以前の最良手法であるREINVENTを上回った。
• SMILES拡張と経験再生を活用することで、オラクルスコアを複数の学習更新で再利用することで、サンプル効率が顕著に向上した。
• 選択的メモリ消去の導入により、最適化性能を損なわず多様性が向上し、低多様性の解への早期収束を防いだ。
• アルゴリズムは優れた汎用性を示し、制御された最適化タスクおよび複雑な実世界の薬物発見事例の両方で優れた性能を発揮した。
• 実験的結果から、データ拡張と経験再生を組み合わせることで、10,000回のオラクル制約内で収束が速まり、報酬の蓄積量も増加することが示された。
• 広範なアブレーションと比較実験により、経験再生と拡張の重要性が裏付けられ、サンプル効率の高い分子設計において不可欠な要素であることが確認された。