[论文解读] Diffusion Models for Black-Box Optimization

Siddarth Krishnamoorthy, Satvik Mehul Mashkaria+1 more|arXiv (Cornell University)|Jun 12, 2023

Neural Networks and Applications被引用 4

一句话总结

本文提出去噪扩散优化模型（DDOM），一种新颖的离线黑箱优化逆向方法，利用条件扩散模型将函数值映射到输入点。通过重加权数据集以优先关注高价值点，并在推理时应用无分类器指导，DDOM 在 Design-Bench 基准上实现最先进性能，平均优于正向与逆向基线方法。

ABSTRACT

The goal of offline black-box optimization (BBO) is to optimize an expensive black-box function using a fixed dataset of function evaluations. Prior works consider forward approaches that learn surrogates to the black-box function and inverse approaches that directly map function values to corresponding points in the input domain of the black-box function. These approaches are limited by the quality of the offline dataset and the difficulty in learning one-to-many mappings in high dimensions, respectively. We propose Denoising Diffusion Optimization Models (DDOM), a new inverse approach for offline black-box optimization based on diffusion models. Given an offline dataset, DDOM learns a conditional generative model over the domain of the black-box function conditioned on the function values. We investigate several design choices in DDOM, such as re-weighting the dataset to focus on high function values and the use of classifier-free guidance at test-time to enable generalization to function values that can even exceed the dataset maxima. Empirically, we conduct experiments on the Design-Bench benchmark and show that DDOM achieves results competitive with state-of-the-art baselines.

研究动机与目标

• 为解决现有离线黑箱优化（BBO）方法的局限性，特别是基于 GAN 的逆向模型存在的不稳定性和模式崩溃问题，以及基于代理模型的正向方法泛化能力差的问题。
• 开发一种稳定且可扩展的逆向方法，直接在高维空间中学习从函数值到输入点的映射。
• 通过推理时的条件控制技术，实现对数据集中最大观测函数值之外的函数值的泛化。
• 通过解决条件扩散模型固有的多样性-质量权衡问题，提升逆向建模中的样本质量和多样性。

提出的方法

• DDOM 训练一个条件扩散模型，以在给定函数值的条件下学习输入域上的生成分布，从而建模从输出到输入的逆向映射。
• 训练过程中使用重加权的目标函数，降低低价值数据点的权重，使模型更专注于输入空间中的高性能区域。
• 在推理时应用无分类器指导，允许动态调节对目标函数值的条件强度，以生成高质量候选解。
• 模型将得分函数分解为无条件与条件两部分，实现对生成质量与条件符合度的解耦控制。
• 该方法在 Design-Bench 套件上进行评估，该套件是一个涵盖多种真实世界离线 BBO 任务的多样化基准，包含不同维度、数据规模和应用领域。
• 通过无分类器指导，将扩散模型条件化于高函数值（包括超过数据集最大值的值）进行采样。

Figure 2 : Branin function

实验结果

研究问题

• RQ1 条件扩散模型能否在高维离线 BBO 设置中有效学习从函数值到输入的逆向映射？
• RQ2 如何通过数据集重加权在不牺牲模型稳定性的前提下，通过聚焦于高价值区域来提升优化性能？
• RQ3 无分类器指导在离线 BBO 中能在多大程度上增强泛化能力，特别是在观测范围之外的函数值上？
• RQ4 在样本质量与优化性能方面，DDOM 与基于代理模型的正向方法及基于 GAN 的逆向方法相比表现如何？

主要发现

• DDOM 在 Design-Bench 基准上实现最先进性能，平均排名第一，所有任务的平均排名为 2.8。
• 该模型表现出高度的训练稳定性和鲁棒性，优于存在模式崩溃和训练不稳定性问题的基于 GAN 的逆向模型（如 MINs）。
• 无分类器指导使模型能够有效泛化至超过数据集最大值的函数值，这是对先前逆向方法的关键优势。
• 数据集重加权显著提升了优化性能，通过在训练期间优先关注高价值点，增强了模型发现最优输入的能力。

(a) $\mathcal{D}_{\text{GMM}}$