[論文レビュー] Generalized Preconditioning and Network Flow Problems

Jonah Sherman|arXiv (Cornell University)|Jun 23, 2016

Complexity and Algorithms in Graphs参考文献 17被引用数 3

ひとこと要約

本稿は、非ユークリッドノルムにおける最小ノルム問題に対するほぼ線形時間近似アルゴリズムを可能にする一般化された事前条件付けフレームワークを導入する。特に、無容量最小費用流問題に応用し、ℓ₁における階層的ルーティングスキームを用いた残差誤差低減を再帰的に適用することで、(1+ε)-近似解をε⁻²m¹⁺ᵒ⁽¹⁾時間で達成する。主な革新点は、格子ラウンディングとマルチグリッド風解析に基づく一般化された事前条件付けである。

ABSTRACT

We consider approximation algorithms for the problem of finding $x$ of minimal norm $\|x\|$ satisfying a linear system $\mathbf{A} x = \mathbf{b}$, where the norm $\|\cdot \|$ is arbitrary and generally non-Euclidean. We show a simple general technique for composing solvers, converting iterative solvers with residual error $\|\mathbf{A} x - \mathbf{b}\| \leq t^{-Ω(1)}$ into solvers with residual error $\exp(-Ω(t))$, at the cost of an increase in $\|x\|$, by recursively invoking the solver on the residual problem $ ilde{\mathbf{b}} = \mathbf{b} - \mathbf{A} x$. Convergence of the composed solvers depends strongly on a generalization of the classical condition number to general norms, reducing the task of designing algorithms for many such problems to that of designing a \emph{generalized preconditioner} for $\mathbf{A}$. The new ideas significantly generalize those introduced by the author's earlier work on maximum flow, making them more widely applicable. As an application of the new technique, we present a nearly-linear time approximation algorithm for uncapacitated minimum-cost flow on undirected graphs. Given an undirected graph with $m$ edges labelled with costs, and $n$ vertices labelled with demands, the algorithm takes $ε^{-2}m^{1+o(1)}$-time and outputs a flow routing the demands with total cost at most $(1+ε)$ times larger than minimal, along with a dual solution proving near-optimality. The generalized preconditioner is obtained by embedding the cost metric into $\ell_1$, and then considering a simple hierarchical routing scheme in $\ell_1$ where demands initially supported on a dense lattice are pulled from a sparser lattice by randomly rounding unaligned coordinates to their aligned neighbors. Analysis of the generalized condition number for the preconditioner follows that of the classical multigrid algorithm for lattice Laplacian systems.

研究の動機と目的

• 任意の非ユークリッドノルムにおける最小ノルム問題を解く一般化されたフレームワークを開発すること。特に、ℓ₂における事前条件付けの成功をより広い設定へと拡張すること。
• 非ユークリッドノルムにおける指数的収束性を持つ反復解法の欠如に起因し、現在では内点法に依存する高コストの反復や多項式的収束性を持つ代替手法に頼らざるを得ない現状を是正すること。
• 無向グラフ上の無容量最小費用流問題に対して、(1+ε)-近似を達成するほぼ線形時間の近似アルゴリズムを設計すること。双対証明を併記する。
• ℓ₂を超える残差再帰技術の一般化を図り、一般化された条件数と、解法器をモジュラーに組み合わせるフレームワークを導入すること。
• コストメトリクスをℓ₁に埋め込み、階層的格子ラウンディングとランダムアライメントを用いることで、ℓ₁最小費用流問題のための一般化された事前条件付けを構築すること。

提案手法

• 本手法は残差再帰を採用する。残差問題 b̃ = b − Ax を再帰的に解くことで誤差を低減し、収束は任意ノルムにおける一般化された条件数によって支配される。
• 再帰的に組み合わせた解法器の近似パラメータを分析するための合成補題を導入し、アルゴリズム設計を良好な一般化された事前条件付けの構築に還元する。
• 最小費用流問題では、需要をℓ₁に埋め込み、非整数座標のランダムラウンディングを用いた階層的ルーティングスキームにより事前条件付けを構築する。
• ルーティングスキームは、各頂点の需要を疎な格子上の最近接近傍に分配することで、格子VₜからVₜ₋₁への需要を低減する。ルートパス長は≤ k2⁻ᵗである。
• 各ルーティングレベルのコストはk2⁻ᵗ‖bₜ‖₁で抑えられ、総コストは最適コストの2k(t+1)倍以内であることが示され、事前条件付けの質が保証される。
• 一般化された条件数は、古典的マルチグリッドと類似した技術を用いて分析され、スケール不変性と還元の線形性を活用してコスト増加を抑える。

実験結果

リサーチクエスチョン

• RQ1 残差再帰をℓ₂を超えて一般化し、任意ノルムにおける指数的誤差減少を達成できるか？
• RQ2 非ユークリッド最小ノルム問題における収束を支配する適切な条件数の一般化は何か？
• RQ3 一般化された事前条件付けを用いて、無向グラフ上の無容量最小費用流問題に対してほぼ線形時間の(1+ε)-近似アルゴリズムを構築できるか？
• RQ4 ℓ₁最小ノルム問題のための事前条件付けを設計し、一般化された条件数が有界であることを保証できるか？
• RQ5 非ユークリッド設定で高速収束を達成するための、ブラックボックス解法器を残差再帰で合成可能なモジュラーフレームワークは存在するか？

主な発見

• 本稿は、残差誤差t⁻Ω(1)を持つ2つの解法器を再帰的に合成すると、残差誤差がexp(−Ω(t))にまで低下することを示す合成補題を確立した。ただし、解のノルムが増加する。
• ℓ₁最小費用流問題のための一般化された事前条件付けは、条件数がO(k)で抑えられることを示した。ここでkは格子内の非整数座標の数である。これにより、ほぼ線形時間アルゴリズムが可能になる。
• 階層的ルーティングスキームは、各レベルあたり最大k2⁻ᵗ‖bₜ‖₁のコストを発生させ、総コストは2k(t+1)‖bₜ‖ₒₚₜ以内に抑えられることを示した。これにより、事前条件付けが最適解のO(k)倍以内であることが証明された。
• アルゴリズムは、ε⁻²m¹⁺ᵒ⁽¹⁾時間で無容量最小費用流問題の(1+ε)-近似解を計算し、双対解により近似的最適性が証明された。
• 本手法は、特定の一般化された事前条件付けとしての混雑度近似器を用いることで、より単純なほぼ線形時間の最大流アルゴリズムを特殊ケースとして回復する。
• 解析により、残差低減ステップが最小コストを増加させないことが示された。すなわち、‖bₜ₋₁‖ₒₚₜ ≤ ‖bₜ‖ₒₚₜであり、これは総コストを抑えるために不可欠である。