[论文解读] Faster Fundamental Graph Algorithms via Learned Predictions

Justin Y. Chen, Sandeep Silwal+2 more|arXiv (Cornell University)|Apr 26, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一类基于预测对偶变量的学习增强型图算法，通过利用机器学习提示实现更快的运行时间。它引入了一种新型的缩减边对偶变量用于最短路径问题，并提出了一种通用的归约框架，将学习增强型算法推广至新问题，同时通过PAC学习理论为预测提供了可学习性的理论保证。

ABSTRACT

We consider the question of speeding up classic graph algorithms with machine-learned predictions. In this model, algorithms are furnished with extra advice learned from past or similar instances. Given the additional information, we aim to improve upon the traditional worst-case run-time guarantees. Our contributions are the following: (i) We give a faster algorithm for minimum-weight bipartite matching via learned duals, improving the recent result by Dinitz, Im, Lavastida, Moseley and Vassilvitskii (NeurIPS, 2021); (ii) We extend the learned dual approach to the single-source shortest path problem (with negative edge lengths), achieving an almost linear runtime given sufficiently accurate predictions which improves upon the classic fastest algorithm due to Goldberg (SIAM J. Comput., 1995); (iii) We provide a general reduction-based framework for learning-based graph algorithms, leading to new algorithms for degree-constrained subgraph and minimum-cost $0$-$1$ flow, based on reductions to bipartite matching and the shortest path problem. Finally, we give a set of general learnability theorems, showing that the predictions required by our algorithms can be efficiently learned in a PAC fashion.

研究动机与目标

• 通过利用先前或相似实例中的对偶变量等机器学习预测，加速经典图算法的运行。
• 解决学习增强型算法是否可推广至二分图匹配之外的问题，而无需从零开始重新设计。
• 开发一种基于归约的通用框架，实现将学习增强型算法迁移至新的图问题。
• 基于PAC学习理论，建立所需求预测的可学习性的理论基础。

提出的方法

• 提出缩减边对偶变量作为带负权边的最短路径问题的新类型预测，实现更快的收敛速度。
• 提出一种舍入方案，将预测的缩减边对偶变量转换为最短路径问题的可行对偶解。
• 设计一种通用的归约框架，将新图问题（如度约束子图、单位容量最大流）映射为已知问题（二分图匹配、最短路径），并结合学习预测。
• 在ℓ₁和ℓ∞范数下，通过经验风险最小化高效学习对偶预测。
• 应用PAC学习理论，界定预测函数的样本复杂度与泛化误差。
• 利用VC维与伪维数的计算复杂度界限，基于算术运算建立预测函数的可学习性。

实验结果

研究问题

• RQ1 能否为二分图匹配之外的基本图问题（如带负权边的单源最短路径）设计学习增强型算法？
• RQ2 是否可以通过归约复用现有算法，避免为每个图问题重新设计新的学习增强型算法？
• RQ3 在PAC意义下，确保所需求预测（如对偶变量）可高效学习的条件是什么？
• RQ4 ℓ₁与ℓ∞预测损失的不同范数如何影响学习增强型图算法的运行时间与可学习性？
• RQ5 能否利用预测函数的计算复杂度推导出通用的可学习性界限？

主要发现

• 本文在最小权二分图匹配问题上实现了O(m√n + (m+n log n) ||y* - ŷ||₀)的改进运行时间，显著优于先前的Õ(min{m√n ||y* - ŷ'||₁, mn})界。
• 对于带负权边的单源最短路径问题，当预测准确时，算法运行时间为O(m min{||ŷ - y*||₁ · ||ŷ - y*||∞, √n log ||ŷ - y*||∞})。
• 该归约框架通过将问题归约为二分图匹配与最短路径，实现了对度约束子图与单位容量最小费用0-1流问题的新型学习增强型算法。
• 本文证明，预测可在PAC意义下学习，样本复杂度被O(poly(T(m,d)))所界定，其中T(m,d)为预测函数的计算时间。
• 对于ℓ₁与ℓ∞预测损失，样本复杂度通过伪维数与VC维界定，后者与预测函数的计算复杂度相关联。
• 该框架表明，在标准假设下，基于边特征与线性函数的预测可被高效学习，且泛化误差界限可由计算复杂度导出。