[논문 리뷰] Computer-Aided Multi-Objective Optimization in Small Molecule Discovery

Jenna C. Fromer, Connor W. Coley|arXiv (Cornell University)|2022. 10. 13.

Advanced Multi-Objective Optimization Algorithms참고 문헌 116인용 수 8

한 줄 요약

이 논문은 파레토 최적화를 활용한 컴퓨터 지원 다목적 분자 발견에 대한 종합적인 리뷰를 제시하며, 사전 가중치가 필요로 하지 않고 상호 간의 트레이드오프를 드러내기 때문에 스칼라화보다 우월하다고 주장한다. 풀 기반 및 데 노보 생성 방법을 상세히 설명하며, 강화학습에서의 비지배적 정렬, 분포 학습, 유전 알고리즘을 활용한다. 이는 확장 가능한, 불확실성 인식 설계를 위한 베이지안 최적화의 통합이 필요하다고 강조한다.

ABSTRACT

Molecular discovery is a multi-objective optimization problem that requires identifying a molecule or set of molecules that balance multiple, often competing, properties. Multi-objective molecular design is commonly addressed by combining properties of interest into a single objective function using scalarization, which imposes assumptions about relative importance and uncovers little about the trade-offs between objectives. In contrast to scalarization, Pareto optimization does not require knowledge of relative importance and reveals the trade-offs between objectives. However, it introduces additional considerations in algorithm design. In this review, we describe pool-based and de novo generative approaches to multi-objective molecular discovery with a focus on Pareto optimization algorithms. We show how pool-based molecular discovery is a relatively direct extension of multi-objective Bayesian optimization and how the plethora of different generative models extend from single-objective to multi-objective optimization in similar ways using non-dominated sorting in the reward function (reinforcement learning) or to select molecules for retraining (distribution learning) or propagation (genetic algorithms). Finally, we discuss some remaining challenges and opportunities in the field, emphasizing the opportunity to adopt Bayesian optimization techniques into multi-objective de novo design.

연구 동기 및 목표

• 스칼라화의 한계를 해결하기 위해, 고정된 가중치를 가정하고 상충되는 성질 간의 트레이드오프를 가림으로써 다목적 분자 최적화에서 발생하는 문제를 해결한다.
• 선호도를 사전에 설정하지 않고도 비지배적 해의 전체 집합을 드러내기 때문에 더 견고하고 유연한 대안으로 파레토 최적화를 홍보한다.
• 다목적 최적화를 위한 라이브러리 기반 및 데 노보 분자 설계 워크플로우에서 기존 접근법을 체계화하고 비교한다.
• 특히 고차원 목표 공간에서의 확장성, 다양성, 평가 과제를 특정한다.
• 샘플 효율성과 불확실성 정량화를 향상시키기 위해 데 노보 설계에 베이지안 최적화 기법을 통합할 것을 주장한다.

제안 방법

• 스칼라화 가중치가 필요 없이 다수의 분자 성질에 걸쳐 비지배적 해를 식별하기 위해 파레토 최적화를 사용한다.
• 강화학습에서 비지배적 정렬을 보상 함수로 적용하여 정책 최적화를 다양하고 높은 성능을 보이는 분자로 유도한다.
• 유전 알고리즘에서 선택을 위해 비지배적 정렬을 활용하고, 반복적 분포 학습을 통해 고품질의 비지배적 후보자들로 모델을 재학습한다.
• 기대 초체적량 향상(EHI) 및 개선 가능성 확률(PHP)과 같은 할당 함수를 통해 다목적 설정으로 확장된 베이지안 최적화를 적용한다.
• 화학적 공간 탐색을 향상시키기 위해 구조적이고 파레토 기반의 다양성을 증진하는 배치 전략을 제안한다.
• 알고리즘 성능 평가를 단순한 지표(예: QED 또는 ClogP)를 넘어서 실제 적용 사례에서의 신뢰성과 일반화 능력을 평가하기 위해 현실적이고 고정밀도의 오라클 함수와 도전적인 벤치마크를 사용할 것을 권장한다.

실험 결과

연구 질문

• RQ1 스칼라화의 함정을 피하기 위해 다목적 분자 최적화를 체계적으로 어떻게 정의할 수 있는가?
• RQ2 다목적 분자 설계에서 풀 기반 접근과 데 노보 생성 접근 간의 주요 방법론적 차이점과 유사점은 무엇인가?
• RQ3 파레토 최적화가 강도, 용해도, 안전성과 같은 균형 잡힌 상충 성질을 가진 분자의 발견을 어떻게 향상시킬 수 있는가?
• RQ4 베이지안 최적화를 다목적 데 노보 설계에 어떻게 적응시켜 샘플 효율성과 불확실성 처리를 향상시킬 수 있는가?
• RQ5 고차원 다목적 최적화에서의 주요 확장성 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 스칼라화보다 파레토 최적화가 목표의 상대적 중요도를 가정하지 않고도 전체 트레이드오프 프론트를 드러내기 때문에 우월하다.
• 비지배적 정렬은 강화학습, 유전 알고리즘, 반복적 분포 학습에서 그린지 할당 대신 파레토 인식 선택을 통해 효과적인 다목적 최적화를 가능하게 한다.
• 기대 초체적량 향상(EHI) 및 개선 가능성 확률(PHP)과 같은 할당 함수는 효과적이지만, 목표 수가 증가할수록 지수적 계산 비용을 야기한다.
• 고차원 목표 공간에서 비지배적 해의 수가 증가하고 초체적량 추정의 계산 부담이 커짐에 따라 확장성 문제가 발생한다.
• 다양성 인식 배치 전략과 현실적인 오라클 함수는 실제 적용 사례에서 탐색 능력 향상과 알고리즘의 견고성 확보에 필수적이다.
• 미래의 실험적 검증이 필수적이며, 현재의 QED 또는 ClogP와 같은 단순 지표에 기반한 벤치마크는 진정한 일반성과 성능 평가에 부적합하다.