[论文解读] Design-Bench: Benchmarks for Data-Driven Offline Model-Based Optimization

Brandon Trabucco, Xinyang Geng+2 more|arXiv (Cornell University)|Feb 17, 2022

Machine Learning in Materials Science被引用 8

一句话总结

该论文提出了Design-Bench，一个用于数据驱动的离线模型基于优化（离线MBO）的标准化基准，用于在生物学、材料科学和机器人学等多样化、现实的任务中评估方法。它提供了一套统一的评估协议和最先进方法的参考实现，使得在仅依赖静态数据集、无法主动查询的离线MBO中，能够实现公平比较并追踪进展。

ABSTRACT

Black-box model-based optimization (MBO) problems, where the goal is to find a design input that maximizes an unknown objective function, are ubiquitous in a wide range of domains, such as the design of proteins, DNA sequences, aircraft, and robots. Solving model-based optimization problems typically requires actively querying the unknown objective function on design proposals, which means physically building the candidate molecule, aircraft, or robot, testing it, and storing the result. This process can be expensive and time consuming, and one might instead prefer to optimize for the best design using only the data one already has. This setting -- called offline MBO -- poses substantial and different algorithmic challenges than more commonly studied online techniques. A number of recent works have demonstrated success with offline MBO for high-dimensional optimization problems using high-capacity deep neural networks. However, the lack of standardized benchmarks in this emerging field is making progress difficult to track. To address this, we present Design-Bench, a benchmark for offline MBO with a unified evaluation protocol and reference implementations of recent methods. Our benchmark includes a suite of diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics that present distinct challenges for offline MBO. Our benchmark and reference implementations are released at github.com/rail-berkeley/design-bench and github.com/rail-berkeley/design-baselines.

研究动机与目标

• 为解决离线模型基于优化（离线MBO）中缺乏标准化基准的问题，该问题阻碍了进展追踪和方法比较。
• 为来自生物学、材料科学和机器人学等真实世界领域的多样化、现实任务，提供离线MBO方法的统一评估协议。
• 发布一个基准套件和近期离线MBO方法的参考实现，以支持系统性评估和可复现性。
• 通过具有代表性但现实困难的任务，识别离线MBO中的核心挑战，包括分布偏移、高维性以及非连续目标函数。
• 通过提供共享的度量标准和框架，推动离线MBO研究，以衡量算法性能和跨领域的泛化能力。

提出的方法

• 该基准包含12个源自真实世界优化问题的多样化任务，涵盖蛋白质设计、DNA序列优化、材料发现和机器人控制。
• 每个任务均设计为反映现实挑战，如高维设计空间、非光滑或不连续的目标函数，以及复杂的结构-功能关系。
• 建立了统一的评估协议，所有方法均在相同的静态数据集上进行评估，并报告在多次随机种子下的最佳目标值。
• 提供了多种离线MBO方法的参考实现，包括基于学习目标模型的梯度上升、基于REINFORCE的策略梯度、基于高斯过程的贝叶斯优化、CMA-ES，以及保守目标模型（COMs）。
• 对每种方法的超参数进行了系统性调优，并在所有任务中统一应用，同时提供了详细的配置指南以确保可复现性。
• 基准使用最大似然目标函数训练学习到的目标函数，并基于找到的最高预测目标值来评估优化性能。

实验结果

研究问题

• RQ1 在来自不同领域、多样化且高维的现实优化任务中，不同离线MBO方法的表现如何？
• RQ2 现有离线MBO方法在具有不同程度分布偏移、不连续性和维度差异的任务之间，其泛化能力如何？
• RQ3 在实践中，哪些超参数和设计选择对离线MBO算法的性能影响最大？
• RQ4 统一的基准评估协议如何实现对离线MBO方法的公平且可复现的比较？
• RQ5 当面对高维、非光滑或稀疏数据场景时，当前离线MBO方法存在哪些局限性？

主要发现

• 该基准显示，保守目标模型（COMs）在大多数任务中持续优于其他方法，尤其在存在高分布偏移和稀疏数据的场景下表现突出。
• 基于学习目标模型的梯度上升在连续任务且目标函数平滑时表现良好，但在处理不连续或高维函数时表现不佳。
• 基于高斯过程的贝叶斯优化在低维到中维任务中表现强劲，但在高维设计空间中扩展性较差。
• 基于REINFORCE的方法在离散任务中有效，但需要仔细调整策略分布和学习率，以避免收敛性差的问题。
• CMA-ES在多种任务中表现出鲁棒性，尤其在与训练良好的目标模型结合时；然而，其对初始化和超参数设置较为敏感。
• 统一的评估协议成功实现了公平比较，揭示了方法性能在不同任务间存在显著差异，凸显了需要基于领域感知设计算法。