[논문 리뷰] Solving Linear Programs with Sqrt(rank) Linear System Solves

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|2019. 10. 17.

Complexity and Algorithms in Graphs참고 문헌 55인용 수 28

한 줄 요약

이 논문은 선형 프로그래밍을 Õ(√rank(A)) 반복 내에 해결하는 새로운 내부점 방법을 제안한다. 각 반복은 오직 Õ(1)개의 선형 시스템 해법과 거의 선형적인 작업을 요구한다. 이는 Nesterov와 Nemirovski의 이론적 반복 수계산과 로그 인자 수준에서 일치하는 첫 번째 다항시간 계산 가능한 Õ(rank(A))-자기일관(barrier)를 달성한다.

ABSTRACT

We present an algorithm that given a linear program with $n$ variables, $m$ constraints, and constraint matrix $A$, computes an $ε$-approximate solution in $ ilde{O}(\sqrt{rank(A)}\log(1/ε))$ iterations with high probability. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation, improving by a factor of $ ildeΩ((m/rank(A))^{1/2})$ over the previous fastest method with this iteration cost due to Renegar (1988). Further, we provide a deterministic polynomial time computable $ ilde{O}(rank(A))$-self-concordant barrier function for the polytope, resolving an open question of Nesterov and Nemirovski (1994) on the theory of "universal barriers" for interior point methods. Applying our techniques to the linear program formulation of maximum flow yields an $ ilde{O}(|E|\sqrt{|V|}\log(U))$ time algorithm for solving the maximum flow problem on directed graphs with $|E|$ edges, $|V|$ vertices, and integer capacities of size at most $U$. This improves upon the previous fastest polynomial running time of $O(|E|\min\{|E|^{1/2},|V|^{2/3}\}\log(|V|^{2}/|E|)\log(U))$ achieved by Goldberg and Rao (1998). In the special case of solving dense directed unit capacity graphs our algorithm improves upon the previous fastest running times of $O(|E|\min\{|E|^{1/2},|V|^{2/3}\})$ achieved by Even and Tarjan (1975) and Karzanov (1973) and of $ ilde{O}(|E|^{10/7})$ achieved more recently by Mądry (2013).

연구 동기 및 목표

• 이론적 반복 수계산 Õ(√rank(A))와 실용적인 내부점 방법 간의 격차를 메우기 위해.
• 랭크-r 행렬로 정의된 다면체에 대해 다항시간 계산 가능한 자기일관 장벽을 개발하여 Nesterov와 Nemirovski가 제기한 열린 문제를 해결하기 위해.
• 최적의 반복 수를 달성하면서도 각 반복 비용, 특히 선형 시스템 해법 수를 낮추는 알고리즘을 설계하기 위해.
• 내부점 방법, ℓp 루이스 가중치, 빠른 선형 시스템 해법 간의 새로운 연결 고리를 설정하여 알고리즘 효율성을 향상시키기 위해.

제안 방법

• polytope {x : Ax ≥ b}에 대해 자기일관 장벽 함수 ψ를 구성하기 위해 q = Θ(log m)인 ℓq 루이스 가중치를 활용한다.
• 행렬 Aₓ = diag(Ax - b)와 그 루이스 가중치 wₓ를 사용하여 O(n log⁵ m)-자기일관성을 가진 장벽 ψ를 구성한다.
• ∇²ψ(x) ≈ AₓᵀWₓAₓᵀ를 보장하는 새로운 장벽 구성 기법을 도입하여 효율적인 헤시안 근사가 가능하도록 한다.
• 초기 가중치 계산을 위해 Õ(mn^{ω−1/2}) 작업과 Õ(√n log⁴ m) 깊이를 갖는 루이스 가중치의 계산 및 갱신을 위한 빠른 알고리즘을 활용한다.
• 편미분 경계를 통한 오차 제어를 통해 근사 선형 시스템 해법을 적용하여, 비정확한 해법에도 불구하고 수렴을 보장한다.
• 최신의 회귀 및 선형 시스템 해법 기법을 통합하여, 거의 최적의 실행 시간 Õ((nnz(A) + rank(A)^ω)√rank(A) log(1/ε))를 달성한다.

실험 결과

연구 질문

• RQ1 일반적인 다면체에 대해 자기일관 장벽를 이론적 반복 수계산 Õ(√rank(A))와 일치하는 다항시간에 계산할 수 있는가?
• RQ2 각 반복당 선형 시스템 해법 수를 Õ(1)로 줄일 수 있는가, 동시에 최적의 반복 수를 유지할 수 있는가?
• RQ3 ℓp 루이스 가중치는 내부점 방법에 대해 효율적이고 다항시간 계산 가능한 장벽을 구성하는 데 어떤 역할을 하는가?
• RQ4 이 알고리즘은 최대 유량 문제를 Õ(|E|√|V| log U) 시간에 해결하도록 수정할 수 있는가, 이는 이전의 결과를 향상시키는가?
• RQ5 근사 선형 시스템 해법을 사용할 때 수렴성이 떨어지지 않도록 하기 위해 어떤 오차 범위가 충분한가?

주요 결과

• 논문은 Nesterov와 Nemirovski(1994)가 제기한 열린 문제를 해결하여, 다면체 {x : Ax ≥ b}에 대해 처음으로 다항시간 계산 가능한 Õ(rank(A))-자기일관 장벽를 구성한다.
• 알고리즘은 임의의 선형 프로그래밍 문제에 대해 ε-근사해를 Õ(√rank(A) log(1/ε)) 반복 내에 계산하며, 각 반복은 Õ(1)개의 선형 시스템 해법과 Õ(nnz(A)) 추가 작업을 요구한다.
• 최대 유량 문제에 대해, 이 방법은 이전의 최선의 O(|E| min{|E|^{1/2}, |V|^{2/3}} log(|V|²/|E|) log U)보다 향상된 Õ(|E|√|V| log U) 시간 알고리즘을 제공한다.
• 밀도 높은 단위 용량 그래프에서는 Mądry(2013)의 이전 최선의 Õ(|E|^{10/7}) 시간 범위를 초월한다.
• 최신의 회귀 및 선형 시스템 해법 기법을 사용하여, Õ((nnz(A) + rank(A)^ω)√rank(A) log(1/ε))의 실행 시간을 달성한다.
• 이 방법은 병렬화 가능하며, 다항시간 작업과 함께 PRAM 모델에서 Õ(√rank(A) log(1/ε))의 깊이를 달성하여, 최적의 깊이와 작업을 갖는 첫 번째 알고리즘이다.