[论文解读] Faster Matchings via Learned Duals

Michael Dinitz, Sungjin Im+3 more|arXiv (Cornell University)|Jul 20, 2021

Optimization and Search Problems参考文献 47被引用 5

一句话总结

本文提出了一种新颖的方法，通过使用机器学习得到的对偶变量作为热启动，来加速加权二分图匹配和b-匹配算法。通过在对偶空间中进行预测并结合高效投影，解决了可行性、最优性和可学习性三大问题，实现了可证明的更快运行时间，且样本复杂度较低，在真实和合成数据上均得到实证验证。

ABSTRACT

A recent line of research investigates how algorithms can be augmented with machine-learned predictions to overcome worst case lower bounds. This area has revealed interesting algorithmic insights into problems, with particular success in the design of competitive online algorithms. However, the question of improving algorithm running times with predictions has largely been unexplored. We take a first step in this direction by combining the idea of machine-learned predictions with the idea of "warm-starting" primal-dual algorithms. We consider one of the most important primitives in combinatorial optimization: weighted bipartite matching and its generalization to $b$-matching. We identify three key challenges when using learned dual variables in a primal-dual algorithm. First, predicted duals may be infeasible, so we give an algorithm that efficiently maps predicted infeasible duals to nearby feasible solutions. Second, once the duals are feasible, they may not be optimal, so we show that they can be used to quickly find an optimal solution. Finally, such predictions are useful only if they can be learned, so we show that the problem of learning duals for matching has low sample complexity. We validate our theoretical findings through experiments on both real and synthetic data. As a result we give a rigorous, practical, and empirically effective method to compute bipartite matchings.

研究动机与目标

• 为解决在在线设置中超越竞争比之外，利用机器学习预测来提升算法运行时间的空白。
• 形式化并解决三大核心挑战：预测对偶的可行性、从近似最优对偶中进行优化，以及对偶预测的可学习性。
• 为加权二分图匹配和b-匹配问题中的原始-对偶算法提供一个理论基础坚实且实用的热启动框架。
• 证明对偶变量可利用低样本复杂度高效学习，同时保持性能保证。

提出的方法

• 将机器学习得到的对偶变量用作原始-对偶算法的热启动，通过一种高效算法将不可行的预测投影到可行的对偶解上。
• 利用匹配问题的对偶形式定义基于预测对偶与最优对偶之间ℓ₁距离的损失函数。
• 使用伪维数分析推导样本复杂度边界，证明对偶预测可从少量训练实例中学习。
• 采用范数保持变换将b-匹配的对偶空间与标准匹配的对偶空间关联，从而实现理论保证的泛化。
• 设计一种训练过程，最小化在成本实例分布上预测对偶与真实最优对偶之间期望ℓ₁距离。
• 将学习到的对偶变量集成到原始-对偶算法中，通过从高质量初始对偶解出发，实现更快收敛。

实验结果

研究问题

• RQ1 能否利用机器学习得到的对偶变量来加速加权二分图匹配的原始-对偶算法？
• RQ2 如何在不损失最优性保证的前提下，高效地将不可行的预测对偶转换为可行解？
• RQ3 学习匹配问题中有用的对偶预测所需的样本复杂度是多少？
• RQ4 学习到的对偶质量能否与运行时间的提升建立定量关联？
• RQ5 对偶空间方法是否能实现比标准热启动启发式方法更好的泛化能力和更快的收敛速度？

主要发现

• 所提出的方法通过使用学习到的对偶变量作为热启动，实现了加权二分图匹配的更快运行时间，且预测质量越高，性能提升越明显。
• 设计了一种高效算法，可将不可行的预测对偶映射到附近的可行对偶解，同时保持与最优对偶的接近性。
• 学习对偶预测的样本复杂度被限制在O((nCB/ε)²(n log n + log(1/ρ)))，确保从少量训练实例中实现泛化。
• 对偶预测函数类的伪维数为O(n log n)，支持在低样本复杂度下实现PAC可学习性。
• 在真实和合成数据上的实证结果证实，该方法不仅理论合理，而且在实践中高效且快于标准方法。
• 对偶空间的公式化使得理论保证可通过对范数变换技术从标准匹配推广到b-匹配。