[논문 리뷰] Population-Based Black-Box Optimization for Biological Sequence Design

Christof Angermueller, David Belanger외 6명|arXiv (Cornell University)|2020. 06. 05.

Metaheuristic Optimization Algorithms Research인용 수 15

한 줄 요약

이 논문은 생물학적 서열 설계에서의 강건성과 다양성을 향상하기 위해 최적화 알고리즘의 앙상블에서 서열을 샘플링하는 Population-Based Black-Box Optimization (P3BO)를 소개한다. 각 알고리즘의 기여도는 과거 성능에 따라 가중치가 부여된다. P3BO는 개별 방법보다 더 높은 품질과 더 다양한 서열을 찾는 데 성공하며, Adaptive-P3BO는 진화적 탐색을 통한 온라인 하이퍼파라미터 튜닝으로 성능을 추가로 향상시킨다.

ABSTRACT

The use of black-box optimization for the design of new biological sequences is an emerging research area with potentially revolutionary impact. The cost and latency of wet-lab experiments requires methods that find good sequences in few experimental rounds of large batches of sequences--a setting that off-the-shelf black-box optimization methods are ill-equipped to handle. We find that the performance of existing methods varies drastically across optimization tasks, posing a significant obstacle to real-world applications. To improve robustness, we propose Population-Based Black-Box Optimization (P3BO), which generates batches of sequences by sampling from an ensemble of methods. The number of sequences sampled from any method is proportional to the quality of sequences it previously proposed, allowing P3BO to combine the strengths of individual methods while hedging against their innate brittleness. Adapting the hyper-parameters of each of the methods online using evolutionary optimization further improves performance. Through extensive experiments on in-silico optimization tasks, we show that P3BO outperforms any single method in its population, proposing higher quality sequences as well as more diverse batches. As such, P3BO and Adaptive-P3BO are a crucial step towards deploying ML to real-world sequence design.

연구 동기 및 목표

• 다양한 문제에서 성능 격차가 큰 기존의 블랙박스 최적화 방법의 취약성을 해결한다.
• 현행 방법이 높은 유사성의 서열을 생성하는 데서 비롯되는 대량 실험에서의 하위최적의 배치 크기 문제를 해결한다.
• 다양한 최적화 알고리즘을 동적으로 성능 가중치를 부여한 앙상블로 조합하여 하이퍼파라미터 선택과 인덕티브 바이어스에 대한 강건성을 향상시킨다.
• 인구 기반 프레임워크 내에서 알고리즘 간 공유된 관측치를 활용해 서열 다양성과 서로 다른 최적점으로의 수렴을 향상시킨다.
• 초기 알고리즘 선택이 불량한 경우에도 복구할 수 있는 확장 가능하고 적응형 프레임워크를 개발한다.

제안 방법

• P3BO는 다양한 탐색 행동을 커버하기 위해 모델 기반(판별형 및 생성형) 및 진화 전략을 포함한 이질적인 최적화 알고리즘 집단을 유지한다.
• 각 라운드에서 각 알고리즘이 서열 배치를 제안하고, 최고의 알려진 적합도 대비 향상도를 기반으로 보상 함수를 통해 평가된다: $ r^t_i = \frac{\text{max}\big(f(\boldsymbol{x}) \text{ for } \boldsymbol{x} \text{ in } \boldsymbol{X}^t_i\big) - f_{\text{max}}}{f_{\text{max}}} $.
• 알고리즘은 과거 보상에 대한 가중합과 지수 감쇠를 고려한 신용 점수 $ s^t_i $ 비례 확률로 선택된다: $ s^t_i = \big(\text{sum over } t' \text{ up to } t\big) r^{t'}_i \times \tau^{t-t'} $.
• 선택 확률은 정규화된 신용 점수에 대한 소프트맥스로 계산된다: $ p_i = \frac{\text{exp}(\tilde{s}_i / \tau)}{\text{sum of } \text{exp}(\tilde{s}_j / \tau)} $, 여기서 $ \tau $ 는 탐색과 이용 간 균형을 조절한다.
• Adaptive-P3BO는 P3BO를 확장하여 진화적 탐색을 통해 인구 구성원의 하이퍼파라미터를 온라인으로 튜닝한다: 토너먼트 선택을 통해 최고 성능을 낸 알고리즘을 선별하고, 그들의 하이퍼파라미터를 재조합하고 돌연변이를 적용한다.
• 모든 실험 데이터는 알고리즘 간에 공유되어 지식 전이와 샘플 효율성 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 블랙박스 최적화 방법의 성능는 다양한 생물학적 서열 설계 문제에서 어떻게 변화하며, 그 취약성의 원인은 무엇인가?
• RQ2 다양한 최적화 알고리즘의 앙상블은 생물학적 서열에 대한 배치형 이산 블랙박스 최적화에서 강건성과 성능 향상에 기여하는가?
• RQ3 성능에 기반한 샘플링 예산의 동적 할당이 서열 품질과 다양성 향상에 얼마나 기여하는가?
• RQ4 구성 알고리즘의 온라인 하이퍼파라미터 적응은 최적화 성능 향상과 불량한 초기 설정 복구에 기여하는가?
• RQ5 P3BO는 다양한 시뮬레이션 서열 설계 작업에서 수렴 속도, 다양성, 강건성 측면에서 단일 방법 기준선과 비교해 어떻게 성능을 내는가?

주요 결과

• P3BO는 인구 내의 어떤 개별 방법보다도 뚜렷이 뛰어난 성능을 보이며, 다양한 시뮬레이션 최적화 문제에서 일관되게 더 높은 품질의 서열을 찾는다.
• P3BO는 기존 기준선 방법보다 더 다양한 서열 배치를 생성한다. 이는 공통된 인덕티브 바이어스로 인해 높은 유사성의 후보를 생성하는 경향이 있기 때문이다.
• P3BO는 PdbIsing 및 PfamHMM와 같은 서로 다른 기능 형태를 가진 문제들에서도 강건성을 보이며, 개별 방법이 성능 순위를 뒤집는 현상을 방지한다.
• Adaptive-P3BO는 온라인 하이퍼파라미터 튜닝을 통해 초기 알고리즘 집단이 불량한 경우에도 복구할 수 있도록 P3BO를 추가로 향상시킨다.
• 신용 기반 선택 메커니즘은 고성능 알고리즘을 효과적으로 우선시하면서도 온도 제어 소프트맥스 샘플링을 통해 탐색을 유지한다.
• 100개 이상의 배치형 블랙박스 최적화 작업에 대한 실증 평가 결과, P3BO 및 Adaptive-P3BO는 더 빠른 수렴 속도와 더 나은 총 적합도를 달성한다.