[論文レビュー] Sample Efficiency Matters: A Benchmark for Practical Molecular Optimization

Wenhao Gao, Tianfan Fu+2 more|arXiv (Cornell University)|Jun 22, 2022

Computational Drug Discovery Methods被引用数 56

ひとこと要約

PMO は厳格な 10,000 回のオラクル呼び出し予算の下で 23 のオラクル関数に対して 25 の分子設計手法をベンチマークし、多くの現代的手法が従来のベースラインを上回らないこと、そしてサンプル効率が極めて重要であることを明らかにする。

ABSTRACT

Molecular optimization is a fundamental goal in the chemical sciences and is of central interest to drug and material design. In recent years, significant progress has been made in solving challenging problems across various aspects of computational molecular optimizations, emphasizing high validity, diversity, and, most recently, synthesizability. Despite this progress, many papers report results on trivial or self-designed tasks, bringing additional challenges to directly assessing the performance of new methods. Moreover, the sample efficiency of the optimization--the number of molecules evaluated by the oracle--is rarely discussed, despite being an essential consideration for realistic discovery applications. To fill this gap, we have created an open-source benchmark for practical molecular optimization, PMO, to facilitate the transparent and reproducible evaluation of algorithmic advances in molecular optimization. This paper thoroughly investigates the performance of 25 molecular design algorithms on 23 tasks with a particular focus on sample efficiency. Our results show that most "state-of-the-art" methods fail to outperform their predecessors under a limited oracle budget allowing 10K queries and that no existing algorithm can efficiently solve certain molecular optimization problems in this setting. We analyze the influence of the optimization algorithm choices, molecular assembly strategies, and oracle landscapes on the optimization performance to inform future algorithm development and benchmarking. PMO provides a standardized experimental setup to comprehensively evaluate and compare new molecule optimization methods with existing ones. All code can be found at https://github.com/wenhao-gao/mol_opt.

研究の動機と目的

• 現実的なオラクル予算（最大 10,000 回の評価）で幅広い分子最適化アルゴリズムの性能を評価する。
• 多様なオラクル・ランドスケープを備えた標準化され再現可能なベンチマーク（PMO）を提供し、手法を比較する。
• アルゴリズムの選択、アセンブリ戦略、オラクル・ランドスケープが性能に与える影響を特定する。
• 独立した再現と広範なハイパーパラメータチューニングを通じて透明性を促進し、将来の手法開発を導く。

提案手法

• 大規模な化学空間におけるスカラー目的関数を持つ一般的な単一目的分子最適化設定を定義する。
• 分子アセンブリ戦略（SMILES、SELFIES、グラフベース、合成ベース）と最適化アルゴリズム（GA、MCTS、BO、VAE、GAN、SBM、GFlowNet、RL、HC、GRAD など）を分類する。
• 結果を [0,1] に正規化した状態で 23 のオラクル関数（QED、DRD2、GSK3β、JNK3、および Guacamol ベースの MPOs）にわたって 25 手法を評価する。
• AUCTop-10（トップ10の平均特性のオラクル呼び出し数に対する曲線下面積）を主要なサンプル効率指標として使用し、上限を 10,000 オラクル呼び出しとする。
• 堅牢な比較を確保するために複数の独立した試行とハイパーパラメータの再最適化を行う。
• 再現性のためにオープンソースのコードと標準化された実験プロトコルを提供する。

実験結果

リサーチクエスチョン

• RQ1 固定された現実的なオラクル予算（最大 10,000 回の呼び出し）で異なる分子アセンブリ戦略と最適化アルゴリズムはどのように性能を発揮するか？
• RQ2 新しい、いわゆる最先端の方法は、サンプル効率指標である AUCTop-10 のような指標で評価すると従来のベースラインを本当に上回るのか？
• RQ3 オラクルランドスケープ（同分体ベース対類似性ベース対 MPOs）が手法の性能にどのように影響を与え、どのランドスケープにどの手法が最も適しているか？
• RQ4 実用的な分子最適化においてサンプル効率に最も影響を与える要因（ハイパーパラメータ調整、ランダム性、モデルベース対モデルフリーのアプローチ）は何か？
• RQ5 PMO のような標準化されたベンチマークは、将来の分子最適化アルゴリズムとベンチマークプロトコルの設計にどんな指針を提供するか？

主な発見

• 検討された手法のいずれも 10,000 オラクル呼び出し内でデノボ分子最適化を確実に解くことはできず、いくつかの些細なタスクだけが効率的に達成された。
• PMO プロトコルの下では REINVENT や Graph GA のような古い手法が新しいアプローチを上回ることが多く、強力なベースラインの価値を浮き彫りにしている。
• 文字列ベースのGA（例: SMILES GA、STONED）は異性体タイプのタスクで優れる一方、設計と代理モデルの質に応じてモデルベースの手法は結果が分かれる。
• モデルベースの最適化はサンプル効率を改善できるが、内ループ/外ループの設計を慎重に行う必要がある。予測モデルを追加しただけでは必ずしも利益は得られない。
• SELFIES は最適化能力やサンプル効率で必ずしも SMILES ベースの手法を上回らないが、トークン化されたアクションでは SELFIES ベースの GA に利点が見られる。
• ハイパーパラメータの再最適化は必須であり、元論文のデフォルト設定は限られた予算設定ではしばしば性能が劣る。
• ランとともにハイパーパラメータの変動性と非決定性は堅牢なベンチマークのために複数回の独立試行を必要とする。
• PMO は分子最適化の進展を促すために標準化された報告、広範なハイパーパラメータ調整、再現性の確保の必要性を強調する。