[论文解读] Bandit Theory and Thompson Sampling-Guided Directed Evolution for Sequence Optimization

Hui Yuan, Chengzhuo Ni+5 more|arXiv (Cornell University)|Jun 5, 2022

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

该论文提出了一种基于汤普森采样引导的定向进化（TS-DE）方法，这是一种贝叶斯多臂赌博机框架，将后验抽样与进化计算相结合，以在昂贵且噪声较大的测量条件下优化生物序列。对于线性序列-功能映射，其贝叶斯遗憾界为$\widetilde{O}(d^2\sqrt{MT})$，表明通过主动学习原理可实现定向进化的理论加速。

ABSTRACT

Directed Evolution (DE), a landmark wet-lab method originated in 1960s, enables discovery of novel protein designs via evolving a population of candidate sequences. Recent advances in biotechnology has made it possible to collect high-throughput data, allowing the use of machine learning to map out a protein's sequence-to-function relation. There is a growing interest in machine learning-assisted DE for accelerating protein optimization. Yet the theoretical understanding of DE, as well as the use of machine learning in DE, remains limited. In this paper, we connect DE with the bandit learning theory and make a first attempt to study regret minimization in DE. We propose a Thompson Sampling-guided Directed Evolution (TS-DE) framework for sequence optimization, where the sequence-to-function mapping is unknown and querying a single value is subject to costly and noisy measurements. TS-DE updates a posterior of the function based on collected measurements. It uses a posterior-sampled function estimate to guide the crossover recombination and mutation steps in DE. In the case of a linear model, we show that TS-DE enjoys a Bayesian regret of order $ ilde O(d^{2}\sqrt{MT})$, where $d$ is feature dimension, $M$ is population size and $T$ is number of rounds. This regret bound is nearly optimal, confirming that bandit learning can provably accelerate DE. It may have implications for more general sequence optimization and evolutionary algorithms.

研究动机与目标

• 将定向进化（DE）形式化为一个具有昂贵且噪声函数评估的赌博机优化问题。
• 开发一种通过主动贝叶斯探索减少实验成本的机器学习增强型DE框架。
• 在未知序列-功能映射下，为序列优化建立理论遗憾界。
• 通过模拟和真实世界的生物序列优化任务验证该框架。

提出的方法

• 提出一种基于汤普森采样引导的定向进化（TS-DE）框架，利用后验抽样指导进化操作中的交叉与突变。
• 在未知的序列-功能映射上维护一个高斯过程后验分布，并随每次新测量结果进行更新。
• 利用后验分布中抽样的函数估计对序列进行排序与选择，以进行重组与突变。
• 使用置信椭球体和序贯贝叶斯推断来控制估计误差并调节探索-利用权衡。
• 利用浓度不等式和线性模型下高斯过程的性质，推导出遗憾界。
• 将种群多样性整合到优化过程中，其中交叉选择可视为一种迭代改进机制。

实验结果

研究问题

• RQ1 能否将定向进化正式表述为一个具有遗憾最小化保证的贝叶斯赌博机问题？
• RQ2 汤普森采样在昂贵且噪声较大的测量条件下如何提升序列优化的效率？
• RQ3 在假设线性模型下，机器学习增强型DE算法的理论遗憾界是什么？
• RQ4 种群规模和特征维度如何影响优化过程的收敛速度？
• RQ5 理论性能是否可在合成数据和真实生物序列数据集上得到验证？

主要发现

• TS-DE框架在具有线性序列-功能映射的情况下，实现了$\widetilde{O}(d^2\sqrt{MT})$的贝叶斯遗憾界，其中$d$为特征维度，$M$为种群规模，$T$为轮次数。
• 该遗憾界接近最优，证实了赌博机学习可被严格证明加速定向进化。
• 理论分析表明，种群多样性和交叉选择在TS-DE框架中对优化进展至关重要。
• 后验抽样机制能有效平衡探索与利用，从而减少昂贵的实验查询次数。
• 在模拟和真实世界数据上的实证验证表明，理论预测与实际性能高度一致。
• 该框架为利用机器学习加速蛋白质和序列设计提供了一种系统化且理论严谨的方法。