[论文解读] Convergence to Lexicographically Optimal Base in a (Contra)Polymatroid and Applications to Densest Subgraph and Tree Packing

Elfarouk Harb, Kent Quanrud+1 more|arXiv (Cornell University)|Jan 1, 2023

Complexity and Algorithms in Graphs被引用 3

一句话总结

本文建立了一种新颖的联系，将密集子图的迭代贪心算法与树打包问题，以及用于在（共）拟阵中寻找字典序最优基的二次规划的Frank-Wolfe方法联系起来。本文为Super-Greedy++提供了更简洁的收敛性证明，表明其收敛于与密集子图问题相关的拟阵中的字典序最优基，同时通过凸优化统一分析了Thorup的贪心树打包算法，相较于以往工作，得出了更强的加法误差保证。

ABSTRACT

Boob et al. [1] described an iterative peeling algorithm called Greedy++ for the Densest Subgraph Problem (DSG) and conjectured that it converges to an optimum solution. Chekuri, Quanrud, and Torres [2] extended the algorithm to general supermodular density problems (of which DSG is a special case) and proved that the resulting algorithm Super-Greedy++ (and hence also Greedy++) converges. In this paper, we revisit the convergence proof and provide a different perspective. This is done via a connection to Fujishige's quadratic program for finding a lexicographically optimal base in a (contra)polymatroid [3], and a noisy version of the Frank-Wolfe method from convex optimisation [4,5]. This gives us a simpler convergence proof, and also shows a stronger property that Super-Greedy++ converges to the optimal dense decomposition vector, answering a question raised in Harb et al. [6]. A second contribution of the paper is to understand Thorup's work on ideal tree packing and greedy tree packing [7,8] via the Frank-Wolfe algorithm applied to find a lexicographically optimum base in the graphic matroid. This yields a simpler and transparent proof. The two results appear disparate but are unified via Fujishige's result and convex optimisation.

研究动机与目标

• 为密集子图问题的Super-Greedy++算法提供更简洁、更透明的收敛性证明。
• 证明Super-Greedy++收敛于与密集子图问题相关的拟阵中的字典序最优基。
• 通过Frank-Wolfe方法应用于生成树多面体，统一分析Thorup的贪心树打包算法。
• 为密集子图与树打包算法建立更强的收敛性保证——具体而言，在ℓ2范数下的加法误差界。

提出的方法

• 以Fujishige的二次规划作为核心理论工具，用于在（共）拟阵中寻找字典序最优基。
• 将Frank-Wolfe算法的噪声变体应用于该二次规划，以分析迭代贪心算法的收敛性。
• 将密集子图问题重新解释为通过二分查找最小化子模函数，其中Super-Greedy++算法对应于相关拟阵上的Frank-Wolfe风格更新。
• 将贪心树打包重新表述为在生成树基多面体上的Frank-Wolfe方法，其中每次迭代基于当前权重向量计算最小生成树。
• 利用多面体的曲率推导出在ℓ2范数下的收敛迭代复杂度界。
• 证明相同的贪心算法在Frank-Wolfe框架中使用不同凸目标函数时，可产生不同的保证。

实验结果

研究问题

• RQ1 能否通过凸优化工具而非组合论证，证明Super-Greedy++收敛于拟阵中的字典序最优基？
• RQ2 将Frank-Wolfe方法应用于Fujishige的二次规划，是否能为拟阵设置下贪心算法的收敛性提供更简洁、更通用的证明？
• RQ3 Thorup的贪心树打包算法能否通过Frank-Wolfe优化的视角被重新解释并统一分析？
• RQ4 当Frank-Wolfe方法应用于拟阵的字典序优化时，其提供的收敛性保证类型为何（加法误差 vs 相对误差）？
• RQ5 为何对同一贪心算法（如树打包）的不同分析会得出不同的迭代复杂度界与误差类型？

主要发现

• Super-Greedy++收敛于与密集子图问题相关的拟阵中的字典序最优基，回答了Harb等人[6]提出的一个开放问题。
• 该算法在O(m log(m/ϵ)/ϵ²)次迭代后达到ℓ2误差界ϵ，其中m为边数。
• 对于树打包问题，基于Frank-Wolfe的分析在使用步长γ = 2/(k+2)时，可在O(m/ϵ²)次迭代后达到ϵ的加法ℓ2误差界。
• 分析表明，相同的贪心树打包算法可被解释为使用二次目标函数的Frank-Wolfe方法，其加法误差界强于Thorup在无权情况下的相对误差保证。
• 本文证明，即使算法更新规则相同，Frank-Wolfe框架中使用不同的凸目标函数（如二次函数与softmax函数）也会导致不同的收敛性保证。
• 基于曲率的分析比Thorup在无权情况下的O(m log(mn/ϵ)/ϵ³)复杂度界更紧，将复杂度从1/ϵ³改进为1/ϵ²。