[论文解读] Automatically Learning Compact Quality-aware Surrogates for Optimization Problems

Kai Wang, Bryan Wilder+2 more|arXiv (Cornell University)|Jun 18, 2020

Machine Learning and Data Classification被引用 7

一句话总结

本文通过使用可学习的原始变量线性组合对可行空间进行重参数化，提出了一种学习紧凑且质量感知的代理模型的方法，用于优化问题。通过用这些低维代理模型替代昂贵的可微分优化层，该方法在保持决策质量的同时，实现了更快的训练和推理速度，且通过更平滑、更稳定的优化提升了决策质量。实验结果表明，在非凸、子模和凸问题上，该方法显著提升了速度并改善了解的质量。

ABSTRACT

Solving optimization problems with unknown parameters often requires learning a predictive model to predict the values of the unknown parameters and then solving the problem using these values. Recent work has shown that including the optimization problem as a layer in the model training pipeline results in predictions of the unobserved parameters that lead to higher decision quality. Unfortunately, this process comes at a large computational cost because the optimization problem must be solved and differentiated through in each training iteration; furthermore, it may also sometimes fail to improve solution quality due to non-smoothness issues that arise when training through a complex optimization layer. To address these shortcomings, we learn a low-dimensional surrogate model of a large optimization problem by representing the feasible space in terms of meta-variables, each of which is a linear combination of the original variables. By training a low-dimensional surrogate model end-to-end, and jointly with the predictive model, we achieve: i) a large reduction in training and inference time; and ii) improved performance by focusing attention on the more important variables in the optimization and learning in a smoother space. Empirically, we demonstrate these improvements on a non-convex adversary modeling task, a submodular recommendation task and a convex portfolio optimization task.

研究动机与目标

• 为解决端到端决策聚焦学习中优化问题作为可微分层嵌入时存在的高计算成本和非光滑性问题。
• 通过学习一个聚焦于优化问题中最重要的变量的低维代理模型，提升决策质量。
• 通过用紧凑且可微分的代理模型替代大规模优化层，减少训练和推理时间。
• 通过反向传播联合端到端训练预测模型与代理模型，最小化决策质量损失。
• 在重参数化框架下，为凸性、子模性和样本复杂度提供理论保证。

提出的方法

• 使用元变量表示优化问题的可行空间，每个元变量均为原始决策变量的可学习线性组合。
• 引入一个可微分的代理层，利用更少、更紧凑的元变量近似原始优化问题。
• 通过代理层的反向传播，联合训练预测模型与代理模型，以最小化决策质量损失。
• 使用在训练过程中学习到的重参数化矩阵，自动识别并强调最相关的变量组合。
• 采用逐坐标拟凸性分析，确保在代理框架下端到端损失函数的可处理性。
• 应用样本复杂度边界，从理论上证明所学习代理模型与预测模型的泛化性能。

实验结果

研究问题

• RQ1 可学习的可行空间线性重参数化是否能减少端到端决策聚焦学习中的训练与推理时间？
• RQ2 尽管存在潜在近似误差，用紧凑代理模型替代复杂优化层是否能提升解的质量？
• RQ3 代理框架在多大程度上保持了优化问题中如凸性与子模性等理想性质？
• RQ4 代理方法在多大程度上减少了可微分优化中的非光滑性问题与训练不稳定性？
• RQ5 在数据稀缺领域，代理模型是否能在有限数据下实现良好泛化？

主要发现

• 在凸二次规划问题上，代理方法将训练与推理时间最高加快了7倍，这是由于维度降低带来的时间复杂度从立方级下降所致。
• 在非凸对抗建模任务中，传统决策聚焦方法虽收敛迅速，但陷入低质量解；而代理方法成功避开了此类无信息的局部极小值。
• 在子模推荐任务中，尽管黑箱求解器收敛迅速，代理方法仍显著提升了解的质量，表明其具备更强泛化能力。
• 可视化结果表明，所学习的代理重参数化能自适应聚焦于结构上重要的变量，如关键的用户-项目关系或高方差的电影评分。
• 代理模型减少了过拟合现象，并平滑了训练损失曲面，从而带来更稳定且更高质量的决策结果。
• 理论分析证实，凸性与子模性在重参数化下得以保持，且端到端损失函数满足逐坐标拟凸性，确保了更优的优化行为。