[論文レビュー] Biological Sequence Design with GFlowNets

Moksh Jain, Emmanuel Bengio+11 more|arXiv (Cornell University)|Mar 2, 2022

vaccines and immunoinformatics approaches被引用数 20

ひとこと要約

本論文は GFlowNet を基盤としたアクティブ学習（GFlowNet-AL）を提案し、GFlowNet ジェネレーターと不確実性を考慮した代理モデルおよびオフラインデータ拡張を組み合わせて、多様で高得点の生物学的シーケンスを生成する。

ABSTRACT

Design of de novo biological sequences with desired properties, like protein and DNA sequences, often involves an active loop with several rounds of molecule ideation and expensive wet-lab evaluations. These experiments can consist of multiple stages, with increasing levels of precision and cost of evaluation, where candidates are filtered. This makes the diversity of proposed candidates a key consideration in the ideation phase. In this work, we propose an active learning algorithm leveraging epistemic uncertainty estimation and the recently proposed GFlowNets as a generator of diverse candidate solutions, with the objective to obtain a diverse batch of useful (as defined by some utility function, for example, the predicted anti-microbial activity of a peptide) and informative candidates after each round. We also propose a scheme to incorporate existing labeled datasets of candidates, in addition to a reward function, to speed up learning in GFlowNets. We present empirical results on several biological sequence design tasks, and we find that our method generates more diverse and novel batches with high scoring candidates compared to existing approaches.

研究の動機と目的

• 生物学的シーケンスの多段階・費用のかかるウェットラボ・パイプラインにおける多様な候補設計の必要性を動機づける。
• GFlowNet を用いて多様な候補シーケンスを生成するアクティブ学習フレームワーク（GFlowNet-AL）を導入する。
• 推定的不確実性とオフラインデータを活用して学習を加速し、探索を改善する。
• 複数のタンパク質およびDNA設計タスクでアプローチを評価し、ベースラインと比較する。

提案手法

• 報酬 R(x) に比例する確率で候補をサンプリングするために GFlowNet ジェネレーターを使用する。
• R(x) を代理モデルの平均 μ(x) とエピステミック不確実性 σ(x) の関数として acquisition function F(μ,σ) によって定義する。
• シーケンス x に対して μ と σ を出力する代理モデル M を訓練し、現在のデータセット D_i を用いて M を更新する。
• オフラインの軌道をデータセットから取り入れて GFlowNet の訓練を強化し、既知の例の周辺での探索を改善する。
• エピステミック不確実性を MC Dropout またはアンサンブルを用いて導入し、 acquisition function（Upper Confidence Bound または Expected Improvement）と組み合わせる。
• 端末フローを報酬と整合させるように flow-matching または trajectory balance の目的で GFlowNet を訓練する。

実験結果

リサーチクエスチョン

• RQ1 GFlowNet ベースのジェネレーターは、多様性と新規性を維持しつつ高得点の生物学的シーケンスを生成できるか？
• RQ2 オフラインデータとエピステミック不確実性を組み込むことで、学習速度・探索・生成バッチの質は向上するか？
• RQ3 GFlowNet-AL はタンパク質およびDNA設計の異なるタスクで、確立されたベースラインと比較してどう機能するか？
• RQ4 オフライン軌道と不確実性を意識した報酬が、TopK 選択の多様性・新規性・性能に与える影響は何か？

主な発見

Task	Method	TopK Performance (Mean ± SE)	Diversity (Mean ± SE)	Novelty (Mean ± SE)
AMP	GFlowNet-AL	0.932±0.002	22.34±1.24	28.44±1.32
AMP	DynaPPO	0.938±0.009	12.12±1.71	9.31±0.69
AMP	COMs	0.761±0.009	19.38±0.14	26.47±1.3
AMP	GFlowNet	0.868±0.015	11.32±0.67	15.72±0.44
TF-Bind-8	GFlowNet-AL	0.84±0.05	4.53±0.46	2.12±0.04
TF-Bind-8	DynaPPO	0.58±0.02	5.18±0.04	0.83±0.03
TF-Bind-8	COMs	0.74±0.04	4.36±0.24	1.16±0.11
TF-Bind-8	BO-qEI	0.44±0.05	4.78±0.17	0.62±0.23
TF-Bind-8	CbAS	0.45±0.14	5.35±0.16	0.46±0.04
TF-Bind-8	MINs	0.40±0.14	5.57±0.15	0.36±0.00
TF-Bind-8	CMA-ES	0.47±0.12	4.89±0.01	0.64±0.21
TF-Bind-8	AmortizedBO	0.62±0.01	4.97±0.06	1.00±0.57
TF-Bind-8	GFlowNet	0.72±0.03	4.72±0.13	1.14±0.30
GFP	GFlowNet-AL	0.05±0.010	21.57±3.73	31.52±2.82
GFP	DynaPPO	0.05±0.008	12.54±1.34	15.10±3.37
GFP	COMs	0.831±0.003	8.57±1.21	10.3

• GFlowNet-AL はベースラインより多様性と新規性を高く達成し、TopK パフォーマンスが高い。
• TF-Bind-8 で GFlowNet-AL は最高の TopK と新規性を提供するが、MINs はより高い多様性を示す（全指標を総合すると GFlowNet-AL が有利）。
• GFP タスクでは、GFlowNet-AL は一部のベースラインよりパフォーマンスで劣るが、多様性と新規性は競争力があり、代理モデルのバイアスや評価に関する caveats が報告された。
• タスクを横断して、GFlowNet-AL はベースラインと比較して多様性と新規性の指標を一般に改善し、いくつかのタスクで競争力のあるまたは優れた性能を示した。
• オフラインデータと不確実性を考慮した報酬を組み合わせると、学習を加速し、既知の例の周辺での探索を改善できることを示している。