[论文解读] Generalized Preconditioning and Network Flow Problems

Jonah Sherman|arXiv (Cornell University)|Jun 23, 2016

Complexity and Algorithms in Graphs参考文献 17被引用 3

一句话总结

本文提出了一种广义预条件框架，使非欧几里得范数下的最小范数问题能够实现近乎线性时间的近似算法，特别应用于无容量限制的最小费用流问题。通过在 ℓ₁ 范数中递归应用残差误差减少的分层路由方案，该方法在 ε⁻²m¹⁺ᵒ⁽¹⁾ 时间内实现 (1+ε)-近似解，其关键创新在于基于格点取整和多重网格风格分析的广义预条件器。

ABSTRACT

We consider approximation algorithms for the problem of finding $x$ of minimal norm $\|x\|$ satisfying a linear system $\mathbf{A} x = \mathbf{b}$, where the norm $\|\cdot \|$ is arbitrary and generally non-Euclidean. We show a simple general technique for composing solvers, converting iterative solvers with residual error $\|\mathbf{A} x - \mathbf{b}\| \leq t^{-Ω(1)}$ into solvers with residual error $\exp(-Ω(t))$, at the cost of an increase in $\|x\|$, by recursively invoking the solver on the residual problem $ ilde{\mathbf{b}} = \mathbf{b} - \mathbf{A} x$. Convergence of the composed solvers depends strongly on a generalization of the classical condition number to general norms, reducing the task of designing algorithms for many such problems to that of designing a \emph{generalized preconditioner} for $\mathbf{A}$. The new ideas significantly generalize those introduced by the author's earlier work on maximum flow, making them more widely applicable. As an application of the new technique, we present a nearly-linear time approximation algorithm for uncapacitated minimum-cost flow on undirected graphs. Given an undirected graph with $m$ edges labelled with costs, and $n$ vertices labelled with demands, the algorithm takes $ε^{-2}m^{1+o(1)}$-time and outputs a flow routing the demands with total cost at most $(1+ε)$ times larger than minimal, along with a dual solution proving near-optimality. The generalized preconditioner is obtained by embedding the cost metric into $\ell_1$, and then considering a simple hierarchical routing scheme in $\ell_1$ where demands initially supported on a dense lattice are pulled from a sparser lattice by randomly rounding unaligned coordinates to their aligned neighbors. Analysis of the generalized condition number for the preconditioner follows that of the classical multigrid algorithm for lattice Laplacian systems.

研究动机与目标

• 开发一种通用框架，用于求解任意非欧几里得范数下的最小范数问题，将预条件方法在 ℓ₂ 范数中的成功推广至更广泛设置。
• 解决非欧几里得范数下缺乏指数收敛迭代求解器的问题，目前这迫使人们依赖迭代成本较高的内点法或收敛速度为多项式的方法。
• 设计一种近乎线性时间的近似算法，用于无向图上的无容量限制最小费用流问题，实现 (1+ε)-近似并附带对偶证明。
• 将残差递归技术推广至 ℓ₂ 之外，通过引入广义条件数和求解器的模块化组合框架，实现更广泛的应用。
• 通过将成本度量嵌入 ℓ₁ 并利用具有随机对齐的分层格点取整，构建 ℓ₁ 最小费用流的广义预条件器。

提出的方法

• 该方法采用残差递归：通过递归求解残差问题 b̃ = b − Ax 来减少误差，收敛性由任意范数下的广义条件数控制。
• 引入一个组合引理，用于分析递归组合求解器的近似参数，将算法设计简化为构造高质量的广义预条件器。
• 对于最小费用流问题，预条件器通过将需求嵌入 ℓ₁ 并使用分层路由方案构建，该方案通过未对齐坐标的随机取整，将需求从更密集的格点传递到更稀疏的格点。
• 该路由方案通过将每个顶点的需求分配给其在更粗格点上的最近邻，将格点 Vₜ 上的需求减少至 Vₜ₋₁，路径长度不超过 k2⁻ᵗ。
• 每个路由层级的成本被限制在 k2⁻ᵗ‖bₜ‖₁ 以内，总成本被证明在最优成本的 2k(t+1) 倍以内，从而确立了预条件器的质量。
• 广义条件数通过类比经典多重网格方法进行分析，利用尺度不变性和约化过程的线性性质，对成本增长进行有界控制。

实验结果

研究问题

• RQ1 残差递归能否推广至 ℓ₂ 之外，以在任意范数下实现指数级误差衰减？
• RQ2 在非欧几里得最小范数问题中，控制收敛性的适当广义条件数应如何定义？
• RQ3 能否通过广义预条件方法，为无向图上的无容量限制最小费用流问题构造一个近乎线性时间的 (1+ε)-近似算法？
• RQ4 如何为 ℓ₁ 最小范数问题设计一个预条件器，以确保有界的广义条件数？
• RQ5 是否存在一种模块化框架，允许通过残差递归组合黑箱求解器，实现在非欧几里得设置下的快速收敛？

主要发现

• 本文建立了组合引理，表明将两个残差误差为 t⁻Ω(1) 的求解器递归组合，可得到残差误差为 exp(−Ω(t)) 的求解器，代价是解范数的增加。
• ℓ₁ 最小费用流的广义预条件器实现了 O(k) 的条件数上界，其中 k 为格点中非整数坐标的数量，从而支持近乎线性时间算法。
• 分层路由方案每级总成本最多为 k2⁻ᵗ‖bₜ‖₁，总成本被有界为 2k(t+1)‖bₜ‖ₒₚₜ，证明了预条件器的性能在最优解的 O(k) 倍以内。
• 该算法在 ε⁻²m¹⁺ᵒ⁽¹⁾ 时间内计算出无容量限制最小费用流问题的 (1+ε)-近似解，并通过对偶解证明了近似最优性。
• 该方法作为特例恢复了更简单的近乎线性时间最大流算法，其中拥塞近似器成为广义预条件器的一个具体实例。
• 分析表明，残差减少步骤不会增加最小成本，即 ‖bₜ₋₁‖ₒₚₜ ≤ ‖bₜ‖ₒₚₜ，这对总成本的有界性至关重要。