[论文解读] An explicit analysis of the entropic penalty in linear programming

Jonathan Weed|arXiv (Cornell University)|Jun 5, 2018

Advanced Optimization Algorithms Research参考文献 37被引用 11

一句话总结

本文对线性规划中的熵罚项提供了非渐近、显式的分析，证明了惩罚解以显式常数指数收敛于真实最优解。该研究通过提供一种简单且构造性的证明，填补了长期存在的理论空白，量化了在最优传输和优化中，计算效率与近似精度之间的权衡。

ABSTRACT

Solving linear programs by using entropic penalization has recently attracted new interest in the optimization community, since this strategy forms the basis for the fastest-known algorithms for the optimal transport problem, with many applications in modern large-scale machine learning. Crucial to these applications has been an analysis of how quickly solutions to the penalized program approach true optima to the original linear program. More than 20 years ago, Cominetti and San Martín showed that this convergence is exponentially fast; however, their proof is asymptotic and does not give any indication of how accurately the entropic program approximates the original program for any particular choice of the penalization parameter. We close this long-standing gap in the literature regarding entropic penalization by giving a new proof of the exponential convergence, valid for any linear program. Our proof is non-asymptotic, yields explicit constants, and has the virtue of being extremely simple. We provide matching lower bounds and show that the entropic approach does not lead to a near-linear time approximation scheme for the linear assignment problem.

研究动机与目标

• 弥合长期以来对熵正则化逼近线性规划真实最优解速度的理解空白。
• 为熵罚方法提供非渐近的指数收敛性证明，获得显式常数。
• 阐明在最优传输等实际应用中，惩罚参数 η 与近似精度之间的权衡关系。
• 建立匹配的下界，表明熵方法无法为线性分配问题提供近乎线性时间的近似方案。

提出的方法

• 利用基于熵的对偶性与凸性论证，推导出惩罚后线性规划与原始线性规划之间对偶间隙的非渐近界。
• 基于香农熵函数的强凸性，采用变分法论证，控制惩罚解与真实最优解之间的偏离。
• 通过对偶变换将惩罚问题转化为涉及指数函数的对偶问题，从而实现收敛速率的显式估计。
• 采用构造性证明技术，避免渐近近似，转而依赖于熵与概率向量的显式不等式。
• 通过构造一类线性规划，证明收敛速率在 η 上为指数级，从而建立紧致的下界。
• 分析Birkhoff多面体情形，表明熵方法无法为线性分配问题提供近乎线性时间的近似方案。

实验结果

研究问题

• RQ1 随着惩罚参数 η 增大，熵惩罚线性规划的解收敛到真实最优解的速度如何？
• RQ2 Cominetti 和 San Martín（1994）的渐近收敛结果能否被转化为非渐近且显式的版本，并获得可计算的常数？
• RQ3 为实现与原始线性规划的给定近似精度，所需的最小 η 值是多少？
• RQ4 熵正则化方法是否能为线性分配问题提供近乎线性时间的近似方案？
• RQ5 为何在实际最优传输数据中，小的 η 值仍能表现出良好性能，尽管理论界限显示其表现受限？

主要发现

• 本文建立了线性规划中熵罚方法的非渐近、显式指数收敛速率，其形式为 exp(−cη)，其中 c > 0 为显式常数。
• 收敛速率通过一个对偶间隙的界来量化，该界随惩罚参数 η 指数衰减，且显式常数由问题结构导出。
• 证明了匹配的下界：对任意 η，存在一个线性规划，其对偶间隙至少为 exp(−Cη)，其中 C > 0，表明该收敛速率是紧致的。
• 熵方法无法为线性分配问题提供近乎线性时间的近似方案，因为所需的 η 随问题规模增长。
• 该分析通过将 Cominetti 和 San Martín 的渐近结果完全量化并构造化，解决了文献中长期存在的理论空白。
• 该证明显著简化于以往工作，仅依赖基本的凸性与熵不等式，且适用于所有线性规划，无需结构假设。