[논문 리뷰] Generalized Preconditioning and Network Flow Problems

Jonah Sherman|arXiv (Cornell University)|2016. 06. 23.

Complexity and Algorithms in Graphs참고 문헌 17인용 수 3

한 줄 요약

이 논문은 비유클리드 노름에서 최소노름 문제를 위한 일반화된 전처리 프레임워크를 제안하며, 특히 무방향 그래프에서의 비용 제약이 없는 최소비용 유량 문제에 적용한다. ℓ₁에서 계층적 라우팅 방식을 통해 잔차 오차를 반복적으로 감소시킴으로써, ε⁻²m¹⁺ᵒ⁽¹⁾ 시간에 (1+ε)-근사해를 달성한다. 주요 혁신은 격자 라운딩과 다중 격자 스타일 분석을 기반으로 한 일반화된 전처리자이다.

ABSTRACT

We consider approximation algorithms for the problem of finding $x$ of minimal norm $\|x\|$ satisfying a linear system $\mathbf{A} x = \mathbf{b}$, where the norm $\|\cdot \|$ is arbitrary and generally non-Euclidean. We show a simple general technique for composing solvers, converting iterative solvers with residual error $\|\mathbf{A} x - \mathbf{b}\| \leq t^{-Ω(1)}$ into solvers with residual error $\exp(-Ω(t))$, at the cost of an increase in $\|x\|$, by recursively invoking the solver on the residual problem $ ilde{\mathbf{b}} = \mathbf{b} - \mathbf{A} x$. Convergence of the composed solvers depends strongly on a generalization of the classical condition number to general norms, reducing the task of designing algorithms for many such problems to that of designing a \emph{generalized preconditioner} for $\mathbf{A}$. The new ideas significantly generalize those introduced by the author's earlier work on maximum flow, making them more widely applicable. As an application of the new technique, we present a nearly-linear time approximation algorithm for uncapacitated minimum-cost flow on undirected graphs. Given an undirected graph with $m$ edges labelled with costs, and $n$ vertices labelled with demands, the algorithm takes $ε^{-2}m^{1+o(1)}$-time and outputs a flow routing the demands with total cost at most $(1+ε)$ times larger than minimal, along with a dual solution proving near-optimality. The generalized preconditioner is obtained by embedding the cost metric into $\ell_1$, and then considering a simple hierarchical routing scheme in $\ell_1$ where demands initially supported on a dense lattice are pulled from a sparser lattice by randomly rounding unaligned coordinates to their aligned neighbors. Analysis of the generalized condition number for the preconditioner follows that of the classical multigrid algorithm for lattice Laplacian systems.

연구 동기 및 목표

• 임의의 비유클리드 노름에서 최소노름 문제를 해결하기 위한 일반 프레임워크를 개발함으로써, ℓ₂에서의 전처리 성공 사례를 더 넓은 환경으로 확장한다.
• 비유클리드 노름에 대해 기하급수적 수렴 속도를 보장하는 반복적 해법이 부족한 문제를 해결함으로써, 현재 고비용 반복을 요구하는 내점점 방법이나 다항수렴 속도를 보장하는 대안에 의존하게 되는 상황을 해결한다.
• 무방향 그래프에서 비용 제약이 없는 최소비용 유량 문제에 대해 거의 선형 시간 (1+ε)-근사 알고리즘을 설계하여 이중 증명을 제공한다.
• 잔차 재귀 기법을 ℓ₂를 넘어서 일반화하기 위해 일반화된 조건수와 해법자들을 조합하는 모듈식 구성 프레임워크를 제안한다.
• 비용 메트릭을 ℓ₁에 통합하고 계층적 격자 라운딩 및 무작위 정렬을 사용하여 ℓ₁ 최소비용 유량 문제를 위한 일반화된 전처리자를 구축한다.

제안 방법

• 이 방법은 잔차 재귀를 활용한다: 오차를 줄이기 위해 반복적으로 잔차 문제 b̃ = b − Ax를 해결하며, 수렴은 임의의 노름에서 일반화된 조건수에 의해 결정된다.
• 재귀적으로 조합된 해법자의 근사 매개변수를 분석하기 위해 구성 보조정리를 도입하여, 알고리즘 설계를 좋은 일반화된 전처리자를 구성하는 것으로 환원한다.
• 최소비용 유량 문제에 대해 전처리자는 수요를 ℓ₁에 통합하고, 정렬되지 않은 좌표를 무작위로 라운딩하여 더 두꺼운 격자에서 더 희박한 격자로 수요를 이동시키는 계층적 라우팅 방식을 사용한다.
• 라우팅 방식은 각 정점의 수요를 더 희박한 격자상의 가장 가까운 이웃들로 분배하여 라우팅 수준 Vₜ에서 Vₜ₋₁로 수요를 감소시키며, 경로 길이는 ≤ k2⁻ᵗ이다.
• 각 라우팅 수준의 비용은 k2⁻ᵗ‖bₜ‖₁ 이하이며, 총 비용은 최적 비용의 2k(t+1) 배 이내로 유한하게 제한되며, 이는 전처리자의 품질을 입증한다.
• 일반화된 조건수 분석은 고전적 다중 격자 기법과 유사한 기법을 활용하며, 척도 불변성과 감소의 선형성을 이용해 비용 증가를 유한하게 제한한다.

실험 결과

연구 질문

• RQ1 잔차 재귀는 ℓ₂를 초월해 임의의 노름에서 기하급수적 오차 감소를 달성할 수 있는가?
• RQ2 비유클리드 최소노름 문제에서 수렴을 지배하는 적절한 조건수의 일반화는 무엇인가?
• RQ3 일반화된 전처리를 사용하여 무방향 그래프에서 비용 제약이 없는 최소비용 유량 문제에 대해 거의 선형 시간 (1+ε)-근사 알고리즘을 구성할 수 있는가?
• RQ4 일반화된 조건수를 유한하게 유지할 수 있도록 ℓ₁ 최소노름 문제를 위한 전처리자를 설계할 수 있는가?
• RQ5 비유클리드 환경에서 빠른 수렴을 달성하기 위해 잔차 재귀를 통해 블랙박스 해법자를 조합할 수 있는 모듈식 프레임워크가 존재하는가?

주요 결과

• 논문은 두 해법자를 잔차 오차 t⁻Ω(1)로 재귀적으로 조합할 경우 잔차 오차가 exp(−Ω(t)) 수준으로 감소하는 구성 보조정리를 확립하며, 이는 해법자 벡터 노름의 증가를 수반한다.
• ℓ₁ 최소비용 유량 문제를 위한 일반화된 전처리자는 조건수를 O(k) 이하로 제한하며, 이는 거의 선형 시간 알고리즘을 가능하게 한다. 여기서 k는 격자 내 비정수 좌표의 수이다.
• 계층적 라우팅 방식은 각 수준에서 최대 k2⁻ᵗ‖bₜ‖₁의 총 비용을 유발하며, 총 비용은 2k(t+1)‖bₜ‖ₒₚₜ 이내로 유한하게 제한되며, 이는 전처리자가 최적 비용의 O(k) 배 이내임을 증명한다.
• 알고리즘은 ε⁻²m¹⁺ᵒ⁽¹⁾ 시간에 비용 제약이 없는 최소비용 유량 문제의 (1+ε)-근사해를 계산하며, 이중 해법을 통해 근사 최적성의 증명이 가능하다.
• 이 방법은 특수한 경우로 간단한 거의 선형 시간 최대유량 알고리즘을 회복한다. 이 경우 혼잡도 근사기( congestion approximator )는 일반화된 전처리자의 특정한 예시가 된다.
• 분석 결과 잔차 감소 단계에서 최소 비용이 증가하지 않음을 입증한다. 즉, ‖bₜ₋₁‖ₒₚₜ ≤ ‖bₜ‖ₒₚₜ 이며, 이는 총 비용을 유한하게 제한하는 데 필수적이다.