[论文解读] Learning Linear Programs from Optimal Decisions

Yingcong Tan, Daria Terekhov+1 more|arXiv (Cornell University)|Jun 16, 2020

Machine Learning and Algorithms参考文献 53被引用 8

一句话总结

本文提出一种基于梯度的框架，用于从最优决策中学习线性规划问题，通过隐式微分实现成本、约束和损失函数的联合优化。该方法成功学习了合成线性规划问题和最小费用多商品流实例，在高维参数空间中优于非梯度方法，采用支持反向传播的PyTorch兼容内点求解器。

ABSTRACT

We propose a flexible gradient-based framework for learning linear programs from optimal decisions. Linear programs are often specified by hand, using prior knowledge of relevant costs and constraints. In some applications, linear programs must instead be learned from observations of optimal decisions. Learning from optimal decisions is a particularly challenging bi-level problem, and much of the related inverse optimization literature is dedicated to special cases. We tackle the general problem, learning all parameters jointly while allowing flexible parametrizations of costs, constraints, and loss functions. We also address challenges specific to learning linear programs, such as empty feasible regions and non-unique optimal decisions. Experiments show that our method successfully learns synthetic linear programs and minimum-cost multi-commodity flow instances for which previous methods are not directly applicable. We also provide a fast batch-mode PyTorch implementation of the homogeneous interior point algorithm, which supports gradients by implicit differentiation or backpropagation.

研究动机与目标

• 解决仅观测到最优决策而非成本或约束时学习线性规划的挑战。
• 开发一种灵活、端到端可微的框架，通过参数化形式联合学习所有线性规划参数——成本、约束和损失函数。
• 克服逆向优化中的关键难题，包括不可行解、空可行域以及最优解不唯一的问题。
• 通过学习参数化线性规划（PLP）实现对新条件的泛化，以重现观测到的最优决策。

提出的方法

• 将学习问题表述为双层优化问题，外层优化参数 w，使观测到的决策可行且最优。
• 采用系数依赖于特征 u 和参数 w 的参数化线性规划（FOP），支持推广到新条件。
• 使用在PyTorch中实现的同质内点算法，通过隐式微分或反向传播支持梯度计算。
• 采用带隐式梯度的序列二次规划（SQP），在高维空间中高效优化 w。
• 引入可微求解器，通过反向传播内层优化问题的解，实现端到端训练。
• 通过将可行性与最优性约束纳入损失函数，处理最优解不唯一及可行域为空的情况。

实验结果

研究问题

• RQ1 基于梯度的方法能否有效学习线性规划的所有参数，包括成本、不等式和等式约束，仅从观测到的最优决策中？
• RQ2 当观测决策在某些参数设置下不可行，或可行域为空时，该方法如何处理？
• RQ3 在高维参数空间中，基于梯度的优化方法（如SQP）相较于非梯度方法（如COBYLA、SLSQP）的性能如何？
• RQ4 通过学习能一致重现最优决策的参数化线性规划，该方法能否泛化到未见条件？
• RQ5 该方法对数值容差和求解器配置变化的鲁棒性如何？

主要发现

• 基于梯度的SQP方法在高维参数空间中持续优于非梯度方法（如COBYLA和SLSQP）。
• 该方法成功学习了合成线性规划问题和最小费用多商品流实例，即使先前方法不适用。
• PyTorch中的同质内点求解器实现了可微优化，支持通过内层线性规划求解过程的反向传播。
• 在 D=10、M1=80 和 M2=2 的测试实例中，该方法在100%的实例上实现零训练损失，表明其具有强大的收敛性。
• 该方法对数值容差和PyTorch版本变化保持鲁棒，表明其在不同配置下性能稳定。
• 非梯度方法（如RS）因等式约束不可行而无法找到可行参数，凸显了基于梯度优化的必要性。