[논문 리뷰] Sample Efficiency Matters: A Benchmark for Practical Molecular Optimization

Wenhao Gao, Tianfan Fu외 2명|arXiv (Cornell University)|2022. 06. 22.

Computational Drug Discovery Methods인용 수 56

한 줄 요약

PMO는 25개의 분자 설계 방법을 23개의 오라클 함수에 대해 엄격한 10,000 오라클 호출 예산 하에서 벤치마킹하여, 많은 현대 방법이 더 오래된 기준선보다 뛰어나지 않으며 샘플 효율성이 결정적으로 중요하다는 것을 밝혔다.

ABSTRACT

Molecular optimization is a fundamental goal in the chemical sciences and is of central interest to drug and material design. In recent years, significant progress has been made in solving challenging problems across various aspects of computational molecular optimizations, emphasizing high validity, diversity, and, most recently, synthesizability. Despite this progress, many papers report results on trivial or self-designed tasks, bringing additional challenges to directly assessing the performance of new methods. Moreover, the sample efficiency of the optimization--the number of molecules evaluated by the oracle--is rarely discussed, despite being an essential consideration for realistic discovery applications. To fill this gap, we have created an open-source benchmark for practical molecular optimization, PMO, to facilitate the transparent and reproducible evaluation of algorithmic advances in molecular optimization. This paper thoroughly investigates the performance of 25 molecular design algorithms on 23 tasks with a particular focus on sample efficiency. Our results show that most "state-of-the-art" methods fail to outperform their predecessors under a limited oracle budget allowing 10K queries and that no existing algorithm can efficiently solve certain molecular optimization problems in this setting. We analyze the influence of the optimization algorithm choices, molecular assembly strategies, and oracle landscapes on the optimization performance to inform future algorithm development and benchmarking. PMO provides a standardized experimental setup to comprehensively evaluate and compare new molecule optimization methods with existing ones. All code can be found at https://github.com/wenhao-gao/mol_opt.

연구 동기 및 목표

• 현실적인 오라클 예산(최대 10,000 evaluations) 하에서 광범위한 분자 최적화 알고리즘의 성능을 평가한다.
• 방법을 비교하기 위한 다양한 오라클 지형을 갖춘 표준화되고 재현 가능한 벤치마크(PMO)를 제공한다.
• 알고리즘 선택, 어셈블리 전략, 오라클 지형이 성능에 어떤 영향을 미치는지 식별한다.
• 향후 방법 개발을 안내하기 위해 독립 반복 및 광범위한 하이퍼파라미터 튜닝을 통한 투명성을 촉진한다.

제안 방법

• 일차 목표를 가지는 단일 목표 분자 최적화 설정을 정의한다: 큰 화학 공간에 걸친 스칼라 목적함수.
• 분자 어셈블리 전략(SMILES, SELFIES, 그래프 기반, 합성 기반)과 최적화 알고리즘(GA, MCTS, BO, VAE, GAN, SBM, GFlowNet, RL, HC, GRAD 등)을 분류한다.
• 안정화된 결과를 [0,1]로 정규화하여 23개의 오라클 함수(QED, DRD2, GSK3β, JNK3, 및 Guacamol 기반 MPOs)에서 25개 방법을 평가한다.
• 주요 샘플 효율성 지표로 AUCTop-10(상위 10개 평균 특성의 면적)을 사용하고, 10,000 오라클 호출로 상한을 둔다.
• 다수의 독립 시행과 초모델 하이퍼파라미터 재최적화를 통해 비교의 견고성을 확보한다.
• 재현성을 위해 오픈 소스 코드와 표준화된 실험 프로토콜을 제공한다.

실험 결과

연구 질문

• RQ1 다양한 분자 어셈블리 전략과 최적화 알고리즘이 고정된 현실적인 오라클 예산(최대 10,000회 호출)에서 어떻게 성능을 내는가?
• RQ2 AUCTop-10과 같은 샘플 효율성 지표로 평가할 때 새로 제안된 최신 방법들이 오래된 베이스라인보다 실제로 더 나은가?
• RQ3 오라클 지형(이성질체 기반 대 유사도 기반 대 MPOs)이 방법 성능에 어떤 영향을 미치며 어떤 지형에 어떤 방법이 가장 잘 맞는가?
• RQ4 실용적 분자 최적화에서 어떤 요인들(하이퍼파라미터 튜닝, 무작위성, 모델 기반 대 모델 없는 접근)이 샘플 효율성에 큰 영향을 미치는가?
• RQ5 PMO와 같은 표준화된 벤치마크가 향후 분자 최적화 알고리즘 설계 및 벤치마킹 프로토콜에 어떤 지침을 제공하는가?

주요 결과

• 탐색된 방법들 중 10,000 오라클 호출 내에서 de novo 분자 최적화를 안정적으로 해결하는 방법은 없었으며, 몇 가지 평이한 작업만이 효율적으로 도달했다.
• PMO 프로토콜 하에서 REINVENT 및 Graph GA와 같은 구 방식이 종종 더 새로운 접근법보다 우수한 성과를 보이며 강력한 기준선의 가치를 강조한다.
• 문자열 기반의 GA(예: SMILES GA, STONED)가 이성질체형 작업에서 우수한 반면, surrogate의 품질과 설계에 따라 모델 기반 방법은 혼재된 결과를 나타낸다.
• 모델 기반 최적화는 샘플 효율성을 개선할 수 있지만 내부/외부 루프 설계가 신중해야 하며 예측 모델의 추가만으로 이득을 보장하지는 않는다.
• SELFIES가 최적화 능력이나 샘플 효율성 면에서 일관되게 SMILES 기반 방법을 능가하지는 않지만, 액션이 토큰화될 때 SELFIES 기반 GA가 이점을 보인다.
• 하이퍼파라미터 재최적화가 필수적이며, 원래 논문의 기본 설정은 예산이 한정된 환경에서 종종 저조한 성능을 보인다.
• 실험 반복이 필요하고 실행 간 비결정성으로 인해 강건한 벤치마킹을 위해 다수의 독립 시도가 필요하다.
• PMO는 분자 최적화의 진보를 이끌기 위해 표준화된 보고, 광범위한 하이퍼파라미터 튜닝, 재현성의 필요성을 강조한다.