[논문 리뷰] Bandit Theory and Thompson Sampling-Guided Directed Evolution for Sequence Optimization

Hui Yuan, Chengzhuo Ni외 5명|arXiv (Cornell University)|2022. 06. 05.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 비용이 많이 들고 노이즈가 많은 측정값이 존재하는 생물학적 서열을 최적화하기 위해 사후 샘플링과 진화 계산을 통합한 베이지안 밴딧 프레임워크인 Thompson Sampling 유도 Directed Evolution (TS-DE)를 제안한다. 선형 서열-기능 맵핑에 대해 $\widetilde{O}(d^2\sqrt{MT})$의 베이지안 리그레트 경계를 달성하여, 능동 학습 원리를 통해 지도적 진화의 이론적 가속을 보여준다.

ABSTRACT

Directed Evolution (DE), a landmark wet-lab method originated in 1960s, enables discovery of novel protein designs via evolving a population of candidate sequences. Recent advances in biotechnology has made it possible to collect high-throughput data, allowing the use of machine learning to map out a protein's sequence-to-function relation. There is a growing interest in machine learning-assisted DE for accelerating protein optimization. Yet the theoretical understanding of DE, as well as the use of machine learning in DE, remains limited. In this paper, we connect DE with the bandit learning theory and make a first attempt to study regret minimization in DE. We propose a Thompson Sampling-guided Directed Evolution (TS-DE) framework for sequence optimization, where the sequence-to-function mapping is unknown and querying a single value is subject to costly and noisy measurements. TS-DE updates a posterior of the function based on collected measurements. It uses a posterior-sampled function estimate to guide the crossover recombination and mutation steps in DE. In the case of a linear model, we show that TS-DE enjoys a Bayesian regret of order $ ilde O(d^{2}\sqrt{MT})$, where $d$ is feature dimension, $M$ is population size and $T$ is number of rounds. This regret bound is nearly optimal, confirming that bandit learning can provably accelerate DE. It may have implications for more general sequence optimization and evolutionary algorithms.

연구 동기 및 목표

• 비용이 많이 들고 노이즈가 많은 기능 평가가 수반되는 지도적 진화(DE)를 밴딧 최적화 문제로 공식화하는 것.
• 능동적이고 베이지안적인 탐색을 통해 실험 비용을 줄이는 기계학습 보조 DE 프레임워크를 개발하는 것.
• 알 수 없는 서열-기능 맵핑 하에서 서열 최적화에 대한 이론적 리그레트 경계를 수립하는 것.
• 모의 및 실제 생물학적 서열 최적화 작업을 통해 프레임워크를 검증하는 것.

제안 방법

• 사후 샘플링을 사용해 교배 및 돌연변이를 유도하는 Thompson Sampling 유도 Directed Evolution(TS-DE) 프레임워크를 제안한다.
• 각 새로운 측정값을 바탕으로 알 수 없는 서열-기능 맵핑에 대한 가우시안 프로세스 사후분포를 유지한다.
• 사후분포에서 샘플된 함수 추정치를 사용해 잠재적으로 높은 성능을 보일 가능성이 있는 서열을 순위 매기고 선별한다.
• 신뢰 타원체와 순차적 베이지안 추론을 활용해 추정 오차를 제한하고 탐색-이용 균형을 제어한다.
• 선형 모델 하에서 가우시안 프로세스의 성질과 농도 불등식을 사용해 리그레트 경계를 유도한다.
• 교배 선택이 반복적 개선의 형태로 작용하도록 인구 다양성을 최적화 과정에 통합한다.

실험 결과

연구 질문

• RQ1 지도적 진화는 리그레트 최소화 보장을 갖는 베이지안 밴딧 문제로 공식화될 수 있는가?
• RQ2 Thompson Sampling는 비용이 많이 들고 노이즈가 많은 측정 조건에서 서열 최적화의 효율성을 어떻게 향상시키는가?
• RQ3 선형 모델 가정 하에서 기계학습 보조 DE 알고리즘의 이론적 리그레트 경계는 무엇인가?
• RQ4 인구 크기와 특징 차원은 최적화 과정의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 이론적 성능은 시뮬레이션 및 실제 생물학적 서열 데이터셋 모두에서 검증될 수 있는가?

주요 결과

• 선형 서열-기능 맵핑에 대해 TS-DE 프레임워크는 $\widetilde{O}(d^2\sqrt{MT})$의 베이지안 리그레트 경계를 달성한다. 여기서 $d$는 특징 차원, $M$은 인구 크기, $T$는 라운드 수이다.
• 리그레트 경계는 거의 최적이며, 이는 밴딧 학습이 지도적 진화를 증명 가능하게 가속시킬 수 있음을 확인한다.
• 이론적 분석은 TS-DE 프레임워크에서 인구 다양성과 교배 선택이 최적화 진전에 핵심적임을 보여준다.
• 사후 샘플링 메커니즘은 탐색과 이용의 균형을 효과적으로 유지하여 고비용 실험 쿼리 수를 줄인다.
• 모의 및 실제 데이터에 대한 경험적 검증을 통해 이론적 예측과 실용적 성능 간의 일치를 확인했다.
• 이 프레임워크는 기계학습을 활용한 단백질 및 서열 설계 가속화를 위한 원칙적이고 이론적으로 탄탄한 접근법을 제공한다.