[논문 리뷰] Batched Stochastic Bayesian Optimization via Combinatorial Constraints Design

Kevin Yang, Yuxin Chen외 2명|arXiv (Cornell University)|2019. 04. 17.

Advanced Multi-Objective Optimization Algorithms참고 문헌 23인용 수 7

한 줄 요약

이 논문은 단백질 공학에서 사이트-포화 돌연변이화를 위한 배치 기반 확률적 베이지안 최적화(BSBO)를 제안한다. 여기서 단백질의 각 위치에서 아미노산 선택에 대한 제약 조건을 최적화하여 확률적 배치에서 고유용도 시퀀스의 기대 수를 극대화한다. 이는 목표 함수를 부분모듈라 함수의 차분(DS)으로 분해함으로써 효율적인 최적화를 가능하게 하는 Online-DSOpt라는 효율적인 알고리즘을 도입한다. 이 알고리즘은 합성 및 실제 단백질 데이터셋(Gb1, PhoQ)에서 히우리스틱보다 뛰어난 성능을 보이며, 희귀하고 고유용도의 시퀀스를 발견할 수 있다.

ABSTRACT

In many high-throughput experimental design settings, such as those common in biochemical engineering, batched queries are more cost effective than one-by-one sequential queries. Furthermore, it is often not possible to directly choose items to query. Instead, the experimenter specifies a set of constraints that generates a library of possible items, which are then selected stochastically. Motivated by these considerations, we investigate \emph{Batched Stochastic Bayesian Optimization} (BSBO), a novel Bayesian optimization scheme for choosing the constraints in order to guide exploration towards items with greater utility. We focus on \emph{site-saturation mutagenesis}, a prototypical setting of BSBO in biochemical engineering, and propose a natural objective function for this problem. Importantly, we show that our objective function can be efficiently decomposed as a difference of submodular functions (DS), which allows us to employ DS optimization tools to greedily identify sets of constraints that increase the likelihood of finding items with high utility. Our experimental results show that our algorithm outperforms common heuristics on both synthetic and two real protein datasets.

연구 동기 및 목표

• 직접 항목을 쿼리할 수 없고, 배치가 확률적으로 샘플링되는 고속 실험 환경에서의 라이브러리 설계 최적화 문제를 해결하기 위해.
• 각 배치에서 개선된 단백질 시퀀스의 기대 수를 극대화하는 제약 조건을 선택하기 위한 모델 기반 프레임워크를 개발하기 위해.
• 실제 생화학 실험에서 가능한 제약 조합의 기하급수적 증가와 확률적 샘플링 불확실성을 극복하기 위해.
• 전체 걸러내기 없이도 고유용도 단백질 시퀀스로의 탐색을 이끄는 효율적이고 온라인 최적화된 제약 조합을 가능하게 하기 위해.

제안 방법

• 개별 단백질 시퀀스의 유용도를 제약 공간으로 매핑하는 새로운 근사 목표 함수를 제안하여, 확률적 배치에서의 기대 개선도를 캡처한다.
• 목표 함수를 부분모듈라 함수의 차분(DS)으로 분해하여, DSOpt-SA 및 DSOpt-DC와 같은 DS 도구를 활용한 효율적 최적화를 가능하게 한다.
• 배치 샘플링 제약 조건 하에서 DS 분해된 목표 함수를 반복적으로 개선함으로써 제약 조합을 탐욕적으로 선택하는 온라인 알고리즘인 Online-DSOpt를 개발한다.
• 단백질 기능-구조 관계를 모델링하고 시퀀스 유용도를 예측하기 위해 가우시안 프로세스 회귀와 Matérn 커널을 사용한다.
• 각 반복에서 제약 조건으로 정의된 라이브러리에서 원소를 복원 추출하여 시퀀스를 확률적으로 샘플링하는 메커니즘을 도입한다.
• 공집합에서 국소 최적점에 빠지지 않도록, 비어 있지 않은 제약 조합(예: 최고의 단일 쿼리)으로 최적화를 초기화한다.

실험 결과

연구 질문

• RQ1 모델 기반의 제약 기반 최적화 프레임워크는 사이트-포화 돌연변이화를 위한 단백질 라이브러리 선택에서 비모델 기반 히우리스틱보다 뛰어나게 성능을 낼 수 있는가?
• RQ2 전략적인 제약 설계를 통해 확률적 배치에서 개선된 시퀀스의 기대 수를 어떻게 극대화할 수 있는가?
• RQ3 배치 기반 확률적 베이지안 최적화의 목표 함수를 부분모듈라 함수의 차분으로 효율적으로 분해할 수 있는가? 이를 통해 확장 가능한 최적화가 가능해지는가?
• RQ4 제안된 방법은 랜덤 샘플링이나 단일 돌연변이 히우리스틱으로는 발견하기 어려운 희귀한 고유용도 단백질 시퀀스를 어느 정도 발견할 수 있는가?

주요 결과

• Synthetic 데이터셋에서 Online-DSOpt는 모든 배치 크기에서 탐욕 히우리스틱(Greedy-Add, Greedy-Rem)보다 뚜렷이 뛰어나며, 특히 탐욕 방법이 실패하는 작은 배치 크기에서 두각을 나타낸다.
• DSopt-SA와 DSOpt-DC는 전체 탐욕 알고리즘과 유사한 성능을 보이며, 국소 최적화 보장이 없음에도 불구하고 제약 공간의 효과적인 탐색이 가능함을 시사한다.
• GB1 및 PhoQ 단백질 데이터셋에서 Online-DSOpt는 99.8 백분위수 이상의 피트니스 값을 가진 시퀀스를 식별하였으며, 이는 500개 미만의 시퀀스 랜덤 샘플링으로서는 매우 희귀하고 발견하기 어려운 수준이다.
• 이 방법은 단일 돌연변이나 최고의 돌연변이 재조합 전략으로는 달성할 수 없는 복수의 위치 조합을 통해 피트니스 향상을 이끌어내어, 상호작용적(에피스태틱) 구조에서의 효과성을 입증한다.
• 배치 크기가 100인 세 번의 시뮬레이션 라운드에서 Online-DSOpt는 일관되게 개선된 시퀀스를 발견하였으며, 이는 야생형 및 단일 돌연변이 기준선을 초월하는 경우도 포함된다.
• 이 알고리즘은 효과적인 라이브러리 크기를 줄이면서도 고유용도 시퀀스의 샘플링 확률을 높여, 대규모 돌연변이화 실험의 실행 가능성과 효율성을 향상시킨다.