[论文解读] End-to-End Stochastic Optimization with Energy-Based Model

Lingkai Kong, Jiaming Cui+4 more|arXiv (Cornell University)|Nov 25, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出 So-Ebm，一种通用且高效的端到端随机优化框架，采用基于能量的模型（EBM）实现，无需依赖 KKT 条件。通过使用可微分 EBM 代理参数化优化问题，并结合似然性和分布匹配的联合训练目标，So-Ebm 在凸与非凸问题（包括电力调度和对抗性安全博弈）上实现了卓越性能，训练速度相比最先进 DFL 方法最高提升 63 倍。

ABSTRACT

Decision-focused learning (DFL) was recently proposed for stochastic optimization problems that involve unknown parameters. By integrating predictive modeling with an implicitly differentiable optimization layer, DFL has shown superior performance to the standard two-stage predict-then-optimize pipeline. However, most existing DFL methods are only applicable to convex problems or a subset of nonconvex problems that can be easily relaxed to convex ones. Further, they can be inefficient in training due to the requirement of solving and differentiating through the optimization problem in every training iteration. We propose SO-EBM, a general and efficient DFL method for stochastic optimization using energy-based models. Instead of relying on KKT conditions to induce an implicit optimization layer, SO-EBM explicitly parameterizes the original optimization problem using a differentiable optimization layer based on energy functions. To better approximate the optimization landscape, we propose a coupled training objective that uses a maximum likelihood loss to capture the optimum location and a distribution-based regularizer to capture the overall energy landscape. Finally, we propose an efficient training procedure for SO-EBM with a self-normalized importance sampler based on a Gaussian mixture proposal. We evaluate SO-EBM in three applications: power scheduling, COVID-19 resource allocation, and non-convex adversarial security game, demonstrating the effectiveness and efficiency of SO-EBM.

研究动机与目标

• 为解决现有决策聚焦学习（DFL）方法的局限性，这些方法受限于凸问题，且因重复求解优化问题而导致训练成本高昂。
• 开发一种可泛化且可扩展的 DFL 框架，适用于凸与非凸随机优化问题。
• 通过用显式基于能量的代理模型替代隐式可微优化层，消除对 KKT 条件的依赖。
• 通过自归一化重要性采样程序和联合目标（同时捕捉最优决策位置与全局能量景观）提升训练效率。
• 在多种真实应用场景中展示其有效性与高效性，包括电力调度、疫情资源分配以及非凸安全博弈。

提出的方法

• So-Ebm 使用基于能量的模型（EBM）显式参数化优化景观，替代基于 KKT 的隐式可微层。
• 该方法引入联合训练目标：通过最大似然损失匹配最优决策，通过基于分布的正则项使决策后验分布与 EBM 的预测分布对齐。
• 采用具有高斯混合提议的自归一化重要性采样器，高效估计训练过程中的期望值，降低计算成本。
• 通过预处理和推理时投影处理约束，未来可扩展使用软约束（如障碍函数或增广拉格朗日惩罚）。
• EBM 代理与预测模型端到端联合训练，实现无需在每一步求解原始问题即可反向传播通过优化层。
• 该框架具有通用性，可通过离散 EBM 或 MCMC 等先进训练技术扩展至组合优化问题。

实验结果

研究问题

• RQ1 能否开发一种通用且高效的决策聚焦学习框架，使其超越凸问题的限制？
• RQ2 如何在不依赖 KKT 条件的前提下，利用基于能量的代理模型有效近似优化景观？
• RQ3 通过用可微分 EBM 代理替代迭代优化求解，能否显著提升训练效率？
• RQ4 联合训练目标（结合局部与全局匹配）如何提升决策质量与泛化能力？
• RQ5 So-Ebm 在低数据条件下能将数据依赖性降低到何种程度，并保持性能？

主要发现

• 在电力发电机调度任务中，So-Ebm 的训练速度相比 DFL-QPTH 最高提升 63 倍，每轮训练时间从 93.12 秒降至 1.47 秒。
• 在非凸对抗性安全博弈中，So-Ebm 在决策遗憾方面优于所有基线方法，证明其在复杂、不可松弛问题上的有效性。
• 在新冠疫情资源分配任务中，即使训练数据有限，So-Ebm 仍保持强劲性能，归因于其结构感知的能量函数设计，表现出较低的数据依赖性。
• 联合训练目标（结合最优决策似然性与分布匹配）相比单一目标方法，能更优地逼近真实优化景观。
• So-Ebm 在不同训练数据比例下保持一致性能，仅在极端低数据比例（0.05）时所有方法均因数据不足而失效。
• 该方法在凸与非凸问题（包括难以松弛的问题）上均表现出良好泛化能力，且在无法获得解析期望时仍能高效扩展。