[논문 리뷰] Path Finding I :Solving Linear Programs with Õ(sqrt(rank)) Linear System Solves

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|2013. 12. 23.

Advanced Optimization Algorithms Research참고 문헌 4인용 수 12

한 줄 요약

이 논문은 선형 프로그래밍을 Õ(√rank(A)) 반복 내에 해결하는 새로운 내부점 방법을 제안한다. 각 반복은 오직 Õ(1)개의 선형 시스템 해법과 거의 선형적인 작업을 필요로 한다. 이는 Nesterov-Nemirovski 장벽 한계에 다항로그 인자 오차 내로 도달하는 최초의 증명 가능 최적 반복 수를 달성하며, 가속된 선형 시스템 해법과 조절 기반 전처리를 통해 실행 시간을 향상시킨다.

ABSTRACT

In this paper we present a new algorithm for solving linear programs that requires only $ ilde{O}(\sqrt{rank(A)}L)$ iterations to solve a linear program with $m$ constraints, $n$ variables, and constraint matrix $A$, and bit complexity $L$. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation. Our method improves upon the previous best iteration bound by factor of $ ildeΩ((m/rank(A))^{1/4})$ for methods with polynomial time computable iterations and by $ ildeΩ((m/rank(A))^{1/2})$ for methods which solve at most $ ilde{O}(1)$ linear systems in each iteration. Our method is parallelizable and amenable to linear algebraic techniques for accelerating the linear system solver. As such, up to polylogarithmic factors we either match or improve upon the best previous running times in both depth and work for different ratios of $m$ and $rank(A)$. Moreover, our method matches up to polylogarithmic factors a theoretical limit established by Nesterov and Nemirovski in 1994 regarding the use of a "universal barrier" for interior point methods, thereby resolving a long-standing open question regarding the running time of polynomial time interior point methods for linear programming.

연구 동기 및 목표

• 이론적 반복 수계수 O(√rank(A))L와 가장 잘 알려진 다항시간 내부점 방법 사이의 오랜 기간 동안 지속된 격차를 메우기 위해.
• 최적의 반복 수를 달성하면서도 다항시간 계산이 가능한 반복을 유지하는 경로 따라가기 알고리즘을 개발하기 위해.
• 제약 행렬 A의 질량이 낮을 경우에도 반복당 선형 시스템 해법의 수를 Õ(1)로 줄여 선형 프로그래밍의 속도를 향상시키기 위해.
• 다양한 m 및 rank(A) 영역에서 nnz(A)에 거의 선형적인 의존성과 깊이 및 작업 복잡도를 향상시키기 위해.

제안 방법

• 수렴를 제어하기 위해 적응형 가중치를 사용해 표준 로그 장벽를 수정하는 새로운 경로 따라가기 기법인 가중치 경로 찾기(wtd path finding)를 도입한다.
• 조건 수와 수렴 속도를 제어하기 위해 비율 β = n/m에 의존하는 가중치 함수를 추가하여 가중치 중심 경로를 정의한다.
• 두 시스템 행렬(AᵀS⁻¹WS⁻¹A 및 AᵀS⁻¹W^αS⁻¹A) 간의 스펙트럼 유사성을 활용하여 해결해야 할 서로 다른 선형 시스템의 수를 줄인다.
• 행렬 S와 W의 동적 업데이트와 함께 전처리를 적용하여 반복 간에 느리게 변화하는 성질을 활용해 시스템 해법을 가속화한다.
• 정리 30을 활용해 반복당 약간의 시간 Õ(mn^{ω−1}/r + n² + C^ω r^{2ω} + C^{ω−1} n r^ω) 내에 선형 시스템의 해를 계산한다. 여기서 r은 업데이트의 그룹 크기이다.
• Vaidya(1996)의 가속 기법과 최근의 회귀 알고리즘 기법을 활용해 nnz(A)에 거의 선형적인 의존성과 전체 실행 시간 향상을 달성한다.

실험 결과

연구 질문

• RQ1 내부점 방법의 반복 복잡도를 Õ(√rank(A))L로 줄일 수 있는가? 이는 Nesterov와 Nemirovski가 1994년에 설정한 유니버설 장벽 하한과 일치한다.
• RQ2 이 최적의 반복 수를 반복당 Õ(1)개의 선형 시스템만 풀면서 달성할 수 있는가?
• RQ3 다항시간 계산 가능성을 유지하면서 nnz(A)에 거의 선형적인 작업을 달성하는 경로 따라가기 알고리즘을 설계할 수 있는가?
• RQ4 선형 시스템 행렬의 동적 변화를 어떻게 활용하여 반복당 평균 비용을 줄일 수 있는가?

주요 결과

• 알고리즘은 Õ(√rank(A)L)회의 반복을 달성하며, 이는 Nesterov와 Nemirovski가 1994년에 설정한 이론적 한계에 다항로그 인자 오차 내로 부합한다.
• 각 반복은 오직 Õ(1)개의 선형 시스템 해법과 추가로 Õ(nnz(A))의 작업만 필요로 하여 매우 병렬화 가능하고 효율적이다.
• 총 실행 시간은 Õ((nnz(A) + rank(A)^ω)√rank(A)L)이며, 고정된 n에 대해 nnz(A)에 대해 처음으로 거의 선형 의존성을 확보한다.
• m = Õ(n)일 경우, 이전까지의 최선의 실행 시간인 O(m^{1.5}nL)보다 향상되어 일반 선형 프로그래밍에 대해 증명 가능한 속도 향상을 달성한다.
• 이 방법은 선형 프로그래밍에 대해 Õ(√rank(A)L) 깊이와 다항시간 작업을 동시에 달성하는 최초의 알고리즘이며, 병렬 효율성을 향상시킨다.
• 가중치 경로 찾기와 동적 전처리의 사용은 평균 선형 시스템 해법을 가속화하며, 반복당 비용이 Õ(mn^{ω−1}/r + n² + β^{−ω}r^{2ω} + β^{−(ω−1)}nr^ω) 이내로 제한된다.