[论文解读] Conservative Objective Models for Effective Offline Model-Based Optimization

Brandon Trabucco, Aviral Kumar+2 more|arXiv (Cornell University)|Jul 14, 2021

Simulation Techniques and Applications被引用 10

一句话总结

本文提出保守目标模型（COMs），一种简单而有效的离线基于模型优化方法，通过在分布外输入上强制保守预测，减轻了学习目标模型中的过估计误差。通过结合监督回归与对抗正则化，COMs 在包括蛋白质设计、机器人构型、神经网络架构和超导材料在内的多种离线 MBO 任务中均实现了卓越且稳定的性能，且仅需极少的超参数调优即优于先前方法。

ABSTRACT

Computational design problems arise in a number of settings, from synthetic biology to computer architectures. In this paper, we aim to solve data-driven model-based optimization (MBO) problems, where the goal is to find a design input that maximizes an unknown objective function provided access to only a static dataset of prior experiments. Such data-driven optimization procedures are the only practical methods in many real-world domains where active data collection is expensive (e.g., when optimizing over proteins) or dangerous (e.g., when optimizing over aircraft designs). Typical methods for MBO that optimize the design against a learned model suffer from distributional shift: it is easy to find a design that "fools" the model into predicting a high value. To overcome this, we propose conservative objective models (COMs), a method that learns a model of the objective function that lower bounds the actual value of the ground-truth objective on out-of-distribution inputs, and uses it for optimization. Structurally, COMs resemble adversarial training methods used to overcome adversarial examples. COMs are simple to implement and outperform a number of existing methods on a wide range of MBO problems, including optimizing protein sequences, robot morphologies, neural network weights, and superconducting materials.

研究动机与目标

• 为解决离线基于模型优化（MBO）中的过估计问题，即学习模型对分布外、无效设计错误预测高目标值的问题。
• 开发一种学习目标函数保守模型的方法，使其在数据流形附近的分布外输入上对真实目标值提供下界。
• 实现在无需主动数据收集的情况下有效优化，尤其适用于蛋白质工程和飞机设计等高成本或高风险领域。
• 通过减少对主动数据收集或复杂生成建模的依赖，提升离线 MBO 的稳定性和可靠性。
• 提供一种简单、即插即用的现有 MBO 方法替代方案，在多样化、高维任务中保持强大性能。

提出的方法

• COMs 通过在静态输入-目标对数据集上进行监督回归，训练神经网络以预测目标值。
• 该方法引入两项附加损失：一项用于最大化模型在训练数据上的预测，另一项用于最小化模型在对抗生成的分布外输入上的预测。
• 对抗成分通过在模型输出上使用梯度上升过程生成，以模拟可能过度估计目标的输入。
• 最终模型通过在保守目标上使用标准梯度上升过程进行优化，确保对分布偏移的鲁棒性。
• 该方法类似于监督学习中的对抗训练，但应用于离线 MBO 中的目标函数建模。
• 使用单一超参数 τ 控制对抗正则化的强度，连续输入空间中 τ=0.5，离散输入空间中 τ=2.0。

实验结果

研究问题

• RQ1 是否可通过一种简单、保守的目标函数模型，在无需主动数据收集或复杂生成建模的前提下，减少离线 MBO 中的过估计误差？
• RQ2 在分布外输入上引入对抗正则化，相比标准监督回归，如何提升离线优化的可靠性和性能？
• RQ3 COMs 在蛋白质序列设计和机器人构型优化等多样化、高维 MBO 任务中，能在多大程度上保持高性能？
• RQ4 COMs 对评估预算变化的鲁棒性如何？在候选评估数量更少时是否仍能保持性能？
• RQ5 COMs 是否能在数据有限的设置下，优于现有最先进方法，在离线 MBO 中实现更优的优化性能？

主要发现

• COMs 在所有评估任务中均持续优于标准监督回归结合梯度上升的方法，包括蛋白质序列设计、机器人构型、神经网络架构和超导材料。
• 在 HopperController 任务中，COMs 的性能比次优方法高出 1.3 倍，表明其在高维连续空间中的强大表现。
• COMs 对评估预算减少具有强韧性：在 HopperController 任务中，COMs 仅用 55 次评估即达到近似最优性能，而朴素模型需两倍数量才能达到自身峰值。
• 该方法使用单一通用超参数 τ（连续输入 τ=0.5，离散输入 τ=2.0）在多样化任务中保持高性能，表明其鲁棒性与易部署性。
• 消融研究显示，即使在评估预算减少的情况下，COMs 仍持续优于基线方法，证实其稳定性和可靠性。
• COMs 在理论和实证层面均有效缓解了数据流形附近分布外输入的过估计问题，从而实现更可信、更高效的优化。