[論文レビュー] Bandit Theory and Thompson Sampling-Guided Directed Evolution for Sequence Optimization

Hui Yuan, Chengzhuo Ni+5 more|arXiv (Cornell University)|Jun 5, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

本稿では、後方確率的サンプリングと進化的計算を統合し、高価でノイズの多い測定条件下で生物学的配列を最適化するためのベイジアンバンディット枠組みであるThompson Sampling誘導型指向的進化（TS-DE）を提案する。線形なシーケンス-機能マッピングに対しては、$\widetilde{O}(d^2\sqrt{MT})$ のベイジアンレグレットバウンドを達成し、アクティブラーニングの原則を用いた指向的進化の理論的加速を示している。

ABSTRACT

Directed Evolution (DE), a landmark wet-lab method originated in 1960s, enables discovery of novel protein designs via evolving a population of candidate sequences. Recent advances in biotechnology has made it possible to collect high-throughput data, allowing the use of machine learning to map out a protein's sequence-to-function relation. There is a growing interest in machine learning-assisted DE for accelerating protein optimization. Yet the theoretical understanding of DE, as well as the use of machine learning in DE, remains limited. In this paper, we connect DE with the bandit learning theory and make a first attempt to study regret minimization in DE. We propose a Thompson Sampling-guided Directed Evolution (TS-DE) framework for sequence optimization, where the sequence-to-function mapping is unknown and querying a single value is subject to costly and noisy measurements. TS-DE updates a posterior of the function based on collected measurements. It uses a posterior-sampled function estimate to guide the crossover recombination and mutation steps in DE. In the case of a linear model, we show that TS-DE enjoys a Bayesian regret of order $ ilde O(d^{2}\sqrt{MT})$, where $d$ is feature dimension, $M$ is population size and $T$ is number of rounds. This regret bound is nearly optimal, confirming that bandit learning can provably accelerate DE. It may have implications for more general sequence optimization and evolutionary algorithms.

研究の動機と目的

• 高価でノイズの多い関数評価を伴う指向的進化（DE）を、レグレット最小化の保証を持つバンディット最適化問題として形式化すること。
• アクティブでベイジアンな探索を通じて実験コストを低減する機械学習拡張型DEフレームワークの開発。
• 未知のシーケンス-機能マッピング下でのシーケンス最適化に対する理論的レグレットバウンドの確立。
• シミュレーションおよび実世界の生物学的シーケンス最適化タスクを用いたフレームワークの検証。

提案手法

• 未知のシーケンス-機能マッピングのガウス過程後方分布を維持し、各新しい測定値で更新する。
• 後方分布からのサンプリング関数推定値を用いて、再結合や突然変異のための高潜力配列をランク付け・選択する。
• 推定誤差のバウンドと探索-活用トレードオフの制御に、信頼楕円体と逐次ベイズ推論を用いる。
• 線形モデル仮定下でのガウス過程の性質と集中不等式を用いて、レグレットバウンドを導出する。
• クロスオーバー選択が段階的改善の形式を取るなど、最適化プロセスに集団の多様性を統合する。

実験結果

リサーチクエスチョン

• RQ1 指向的進化は、レグレット最小化の保証を持つベイジアンバンディット問題として形式的に定式化可能か？
• RQ2 Thompson Samplingは、高価でノイズの多い測定条件下でのシーケンス最適化の効率をどのように向上させるか？
• RQ3 線形モデル仮定下での機械学習拡張型DEアルゴリズムの理論的レグレットバウンドは何か？
• RQ4 集団サイズと特徴次元は、最適化プロセスの収束速度にどのように影響するか？
• RQ5 理論的性能は、合成的および実際の生物学的シーケンスデータセットの両方で検証可能か？

主な発見

• TS-DEフレームワークは、線形シーケンス-機能マッピングに対して、$\widetilde{O}(d^2\sqrt{MT})$ のベイジアンレグレットバウンドを達成する。ここで $d$ は特徴次元、$M$ は集団サイズ、$T$ はラウンド数である。
• レグレットバウンドはほぼ最適であり、バンディット学習が指向的進化の加速を証明可能であることを確認している。
• 理論的解析により、集団の多様性とクロスオーバー選択が、TS-DEフレームワークにおける最適化の進行にとって不可欠であることが示された。
• 後方分布サンプリング機構は、探索と活用のバランスを効果的にとる。これにより、高価な実験的クエリ数を削減できる。
• シミュレーションおよび実世界データに対する実証的検証により、理論的予測と実際のパフォーマンスの整合性が確認された。
• 本フレームワークは、機械学習を用いたタンパク質およびシーケンス設計の加速を、原理的かつ理論的根拠に基づいて実現する。