[論文レビュー] Computer-Aided Multi-Objective Optimization in Small Molecule Discovery

Jenna C. Fromer, Connor W. Coley|arXiv (Cornell University)|Oct 13, 2022

Advanced Multi-Objective Optimization Algorithms参考文献 116被引用数 8

ひとこと要約

本稿は、Pareto最適化を用いたコンピュータ支援多目的分子発見の包括的レビューを提示し、重み付けを事前に必要とせずトレードオフを明らかにすることで、スカラライゼーションに優る利点を主張する。プールベースおよびデノボ生成手法について、非優位ソートを用いた強化学習、分布学習、遺伝的アルゴリズムを用いて詳細に説明し、スケーラブルで不確実性を考慮した設計を実現するため、ベイズ最適化の統合の必要性を強調する。

ABSTRACT

Molecular discovery is a multi-objective optimization problem that requires identifying a molecule or set of molecules that balance multiple, often competing, properties. Multi-objective molecular design is commonly addressed by combining properties of interest into a single objective function using scalarization, which imposes assumptions about relative importance and uncovers little about the trade-offs between objectives. In contrast to scalarization, Pareto optimization does not require knowledge of relative importance and reveals the trade-offs between objectives. However, it introduces additional considerations in algorithm design. In this review, we describe pool-based and de novo generative approaches to multi-objective molecular discovery with a focus on Pareto optimization algorithms. We show how pool-based molecular discovery is a relatively direct extension of multi-objective Bayesian optimization and how the plethora of different generative models extend from single-objective to multi-objective optimization in similar ways using non-dominated sorting in the reward function (reinforcement learning) or to select molecules for retraining (distribution learning) or propagation (genetic algorithms). Finally, we discuss some remaining challenges and opportunities in the field, emphasizing the opportunity to adopt Bayesian optimization techniques into multi-objective de novo design.

研究の動機と目的

• スカラライゼーションの限界を是正すること。これは、固定された重みを仮定し、競合する性質間のトレードオフを隠ぺいするためである。
• Pareto最適化を、事前の好みを必要とせず、非優位解の完全な集合を明らかにすることで、より強固で柔軟な代替手段として推進すること。
• 多目的最適化におけるライブラリベースおよびデノボ分子設計ワークフローの両分野における既存手法を体系化し、比較すること。
• 特に高次元の目的関数空間において顕在化するスケーラビリティ、多様性、評価の課題を特定すること。
• サンプル効率と不確実性の定量化を向上させるために、デノボ設計にベイズ最適化手法を統合するよう提言すること。

提案手法

• スカラライゼーションの重みを必要とせず、複数の分子特性にわたる非優位解を特定するためにPareto最適化を用いる。
• 強化学習における非優位ソートを報酬関数として適用し、ポリシー最適化を多様で優れた性能を持つ分子へと誘導する。
• 遺伝的アルゴリズムにおける選択および反復的分布学習において非優位ソートを用い、高品質で非優位な候補に対してモデルを再訓練する。
• 期待ハイパーボリューム改善（EHI）や確率的改善（PHI）といった獲得関数を用いて、ベイズ最適化を多目的設定に拡張する。
• 構造的およびPareto多様性を促進するバッチ戦略を提案し、化学空間の探索を強化する。
• アルゴリズムの性能をQEDやClogPといった単純な指標を超えて評価するため、現実的で高精度のオラクル関数と挑戦的なベンチマークを推奨する。

実験結果

リサーチクエスチョン

• RQ1 スカラライゼーションの落とし穴を回避するため、多目的分子最適化をどのように体系的に定式化できるか？
• RQ2 プールベースとデノボ生成アプローチの間で、多目的分子設計において主な方法論的差異と類似点は何か？
• RQ3 Pareto最適化は、効果的、溶解性、安全性といったバランスの取れた競合する性質を持つ分子の発見をどのように改善できるか？
• RQ4 ベイズ最適化は、多目的デノボ設計にどのように適合させられ、サンプル効率と不確実性処理をどのように向上させられるか？
• RQ5 高次元の多目的最適化における主なスケーラビリティの課題は何か。それらはどのように緩和できるか？

主な発見

• Pareto最適化は、目的の相対的重要性を仮定しないで、トレードオフの完全なフロントを明らかにすることで、スカラライゼーションを上回る。
• 非優位ソートは、強化学習、遺伝的アルゴリズム、反復的分布学習において、グリーディーな獲得関数に代わるParetoに配慮した選択を可能にすることで、効果的な多目的最適化を実現する。
• 期待ハイパーボリューム改善（EHI）や確率的改善（PHI）といった獲得関数は有効であるが、目的の数が増加するにつれて指数関数的な計算コストを負う。
• 高次元の目的関数空間では、非優位解の数が増加し、ハイパーボリューム推定の計算負荷が増大するため、スケーラビリティの問題が生じる。
• 多様性に配慮したバッチ戦略と現実的で高精度のオラクル関数は、現実世界の応用における探索性とアルゴリズムの堅牢性を向上させるために不可欠である。
• 予測的実験的検証は依然として不可欠であり、現在のQEDやClogPといった単純な指標に基づくベンチマークでは、真の汎用性と性能を評価することは不十分である。