[论文解读] Extrapolative Controlled Sequence Generation via Iterative Refinement

Vishakh Padmakumar, Richard Yuanzhe Pang+2 more|arXiv (Cornell University)|Mar 8, 2023

Software Engineering Research被引用 6

一句话总结

本文提出迭代受控外推（ICE），一种通过迭代应用局部编辑对基础序列进行属性值外推的序列生成方法。ICE 在合成生成的序列对上进行训练，这些序列对的属性值仅有微小提升，在自然语言处理和蛋白质工程任务中均实现了外推控制生成的最先进性能，优于 PPLM 和 Genhance 等方法。

ABSTRACT

We study the problem of extrapolative controlled generation, i.e., generating sequences with attribute values beyond the range seen in training. This task is of significant importance in automated design, especially drug discovery, where the goal is to design novel proteins that are extit{better} (e.g., more stable) than existing sequences. Thus, by definition, the target sequences and their attribute values are out of the training distribution, posing challenges to existing methods that aim to directly generate the target sequence. Instead, in this work, we propose Iterative Controlled Extrapolation (ICE) which iteratively makes local edits to a sequence to enable extrapolation. We train the model on synthetically generated sequence pairs that demonstrate small improvement in the attribute value. Results on one natural language task (sentiment analysis) and two protein engineering tasks (ACE2 stability and AAV fitness) show that ICE considerably outperforms state-of-the-art approaches despite its simplicity. Our code and models are available at: https://github.com/vishakhpk/iter-extrapolation.

研究动机与目标

• 解决在药物发现和蛋白质工程等场景中生成超出训练分布属性值的序列的挑战。
• 克服现有控制生成方法在训练过程中未见的属性值范围外无法泛化的问题。
• 开发一种简单而有效的外推生成框架，通过局部、渐进式改进而非直接生成极端值来实现。
• 在具有真实世界生物学和语言学应用的自然语言和蛋白质序列生成任务中，验证迭代优化的有效性。

提出的方法

• 在通过掩码语言模型生成的、属性值仅有微小提升的合成序列对上训练序列生成器。
• 使用控制标记 <inc> 和 <dec> 引导模型逐步向增加或减少目标属性值的方向进行编辑。
• 在推理阶段迭代应用训练好的生成器，从一个基础序列（如野生型蛋白质或中性情感文本）开始，实现累积性改进。
• 支持评分器引导和无评分器两种推理设置，其中评分器在生成过程中评估属性值，或完全省略。
• 使用条件生成器，学习生成能稳定增加或减少属性值的编辑，从而实现对训练数据之外的外推。
• 在生成过程中应用截断和序列长度约束，以保持模型兼容性，尤其在具有长度限制的蛋白质任务中。

实验结果

研究问题

• RQ1 迭代的局部编辑能否泛化到生成超出训练分布的属性值的序列？
• RQ2 在分布内数据上学习小幅度、渐进式改进，是否能有效实现对分布外属性值的外推？
• RQ3 在蛋白质和自然语言处理任务中，ICE 与 PPLM 和 Genhance 等最先进方法相比，外推性能如何？
• RQ4 在分布边界附近评分器不可靠时，评分器的使用在多大程度上能提升外推设置下的生成质量？
• RQ5 迭代优化方法能否在不依赖真值反馈的情况下，生成多样化且高质量的序列，覆盖外推区域？

主要发现

• ICE 在所有评估任务中显著优于标准控制生成方法（如 PPLM）和最先进外推方法（如 Genhance）。
• 在 AAV 适应度任务中，ICE 在评分器引导推理下，生成的前 100 个突变体平均适应度得分为 1.750，超过次优方法（迭代采样）的 1.452。
• 在 ACE2 稳定性任务中，ICE 经过 10 次迭代后达到最终 ddG 值 -5.57，超出训练范围（ddG 从 -4 到 10），成功实现外推。
• 即使在 AAV 任务的训练数据中不存在优于野生型的序列，ICE 仍能生成多样化且适应度更高的高质量突变体。
• 在 AAV 任务中，评分器仅带来微小改进，表明模型内部的优化过程在外推区域比评分器引导更具鲁棒性。
• ICE 生成的适应度得分分布更平坦，且更广泛地分布在外推区域，表明其性能更广泛且更一致，优于基线方法。