[论文解读] Biological Sequence Design with GFlowNets

Moksh Jain, Emmanuel Bengio+11 more|arXiv (Cornell University)|Mar 2, 2022

vaccines and immunoinformatics approaches被引用 20

一句话总结

本文提出基于 GFlowNet 的主动学习（GFlowNet-AL），通过将 GFlowNet 生成器与不确定性感知代理和离线数据增强相结合，生成多样且高分的生物序列。

ABSTRACT

Design of de novo biological sequences with desired properties, like protein and DNA sequences, often involves an active loop with several rounds of molecule ideation and expensive wet-lab evaluations. These experiments can consist of multiple stages, with increasing levels of precision and cost of evaluation, where candidates are filtered. This makes the diversity of proposed candidates a key consideration in the ideation phase. In this work, we propose an active learning algorithm leveraging epistemic uncertainty estimation and the recently proposed GFlowNets as a generator of diverse candidate solutions, with the objective to obtain a diverse batch of useful (as defined by some utility function, for example, the predicted anti-microbial activity of a peptide) and informative candidates after each round. We also propose a scheme to incorporate existing labeled datasets of candidates, in addition to a reward function, to speed up learning in GFlowNets. We present empirical results on several biological sequence design tasks, and we find that our method generates more diverse and novel batches with high scoring candidates compared to existing approaches.

研究动机与目标

• 为生物序列在多阶段、代价高昂的湿实验流程中对候选设计的多样性需求提供动机。
• 引入一个主动学习框架（GFlowNet-AL），使用 GFlowNets 生成多样的候选序列。
• 利用 epistemic 不确定性和离线数据来加速训练并改善探索。
• 在多个蛋白质和 DNA 设计任务上评估该方法，并与基线进行比较。

提出的方法

• 使用 GFlowNet 生成器按与奖励 R(x) 成比例的概率来采样候选项。
• 将 R(x) 定义为代理模型的均值 μ(x) 与认识不确定性 σ(x) 的函数，通过获得函数 F(μ,σ) 进行估计。
• 训练代理模型 M 输出序列 x 的 μ 和 σ；使用当前数据集 D_i 更新 M。
• 可选地使用数据集中的离线轨迹来增强 GFlowNet 的训练，以加速学习并改善对已知样本周围的探索。
• 结合 MC Dropout 或集成来体现 epistemic 不确定性，并配合获得函数（上置信界限或期望改进）使用。
• 使用流对齐或轨迹平衡等目标来训练 GFlowNet，使末端流与奖励对齐。

实验结果

研究问题

• RQ1 基于 GFlowNet 的生成器是否能够在保持多样性和新颖性的同时生成高分的生物序列？
• RQ2 离线数据和 epistemic 不确定性的引入是否能提高序列设计主动学习中的学习速度、探索性和生成批次的质量？
• RQ3 与既定基线相比，GFlowNet-AL 在不同的序列设计任务（蛋白质与 DNA）上的表现如何？
• RQ4 离线轨迹与不确定性感知奖励对 TopK 选择的多样性、新颖性和性能有何影响？

主要发现

• GFlowNet-AL 在 AMP 设计中实现了比基线更高的多样性和新颖性，并显示出强烈的 TopK 性能。
• 在 TF-Bind-8 上，GFlowNet-AL 提供了最佳的 TopK 与新颖性，尽管 MINs 展示了更高的多样性（若综合所有指标，整体评价偏向 GFlowNet-AL）。
• 在 GFP 任务中，GFlowNet-AL 的性能相对某些基线略逊，但在多样性和新颖性方面保持竞争力；结果指出了代理偏差与评估相关的注意点。
• 在各任务中，与基线相比，GFlowNet-AL 通常在多样性和新颖性指标上提供改进，在若干任务上具有竞争力或更优的性能。
• 研究表明，将离线数据与不确定性感知奖励相结合可以加速学习并改善围绕已知样本的探索。