[논문 리뷰] Matching the Universal Barrier Without Paying the Costs : Solving Linear Programs with Õ(sqrt(rank)) Linear System Solves.

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|2013. 12. 23.

Advanced Optimization Algorithms Research인용 수 7

한 줄 요약

이 논문은 선형 프rogramming 문제를 해결하기 위한 새로운 내점법을 제안하며, 제약 행렬 $A$와 비트 복잡도 $L$에 대해 $ ilde{O}( ext{rank}(A)}L)$의 반복 복잡도를 달성한다. 각 반복에서 $ ilde{O}(1)$개의 선형 시스템만을 해결함으로써, 네스테로프와 네미로프스키(1994)가 설정한 이론적 보편 장벽 한계를 충족하면서도, 이전 방법들에 비해 반복 수와 총 실행 시간 모두에서 향상되며, 특히 저질서 제약 행렬에 대해 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper we present a new algorithm for solving linear programs that requires only $ ilde{O}(\sqrt{rank(A)}L)$ iterations where $A$ is the constraint matrix of a linear program with $m$ constraints and $n$ variables and $L$ is the bit complexity of a linear program. Each iteration of our method consists of solving $ ilde{O}(1)$ linear systems and additional nearly linear time computation. Our method improves upon the previous best iteration bound by factor of $ ilde{\Omega}((m/rank(A))^{1/4})$ for methods with polynomial time computable iterations and by $ ilde{\Omega}((m/rank(A))^{1/2})$ for methods which solve at most $ ilde{O}(1)$ linear systems in each iteration. Our method is parallelizable and amenable to linear algebraic techniques for accelerating the linear system solver. As such, up to polylogarithmic factors we either match or improve upon the best previous running times for solving linear programs in both depth and work for different ratios of $m$ and $rank(A)$. Moreover, our method matches up to polylogarithmic factors a theoretical limit established by Nesterov and Nemirovski in 1994 regarding the use of a universal barrier for interior point methods, thereby resolving a long-standing open question regarding the running time of polynomial time interior point methods for linear programming.

연구 동기 및 목표

• 1994년 네스테로프와 네미로프스키에 의해 설정된 내점법의 선형 프로그래밍에 대한 오랜 이론적 장벽, 즉 $\tilde{O}(\sqrt{\text{rank}(A)}L)$의 반복 복잡도 한계를 극복하기 위해.
• 기존의 보편 장벽 구성 방식의 계산 비용을 지불하지 않으면서도 이 보편 장벽 복잡도 한계를 충족하는 방법을 설계하기 위해.
• 특히 $m \gg \text{rank}(A)$인 경우에 반복 수를 줄여 $m$에 대한 의존도를 감소시킴으로써 기존 방법들보다 반복 수 면에서 향상시키기 위해.
• 각 반복 내에서 선형 시스템 해법을 더 빠르게 수행하기 위해 현대 선형 대수 기법을 활용하고 병렬 처리가 가능하도록 하기 위해.
• 보편 장벽 복잡도 한계를 달성할 수 있는 다항 시간 내점법이 추가 계산 비용 없이 이론적 한계에 도달할 수 있는지 여부에 대한 열린 질문을 해결하기 위해.

제안 방법

• 낮은 질서 구조에서 유도된 암묵적 장벽 성질에 의존하여 명시적인 보편 장벽 계산이 필요 없도록 하는 새로운 장벽 함수 구성 방식을 사용한다.
• 각 반복에서 $ ilde{O}(1)$개의 선형 시스템을 해결하며, 나머지 계산은 거의 선형 시간이므로 효율적인 구현과 병렬 처리가 가능하다.
• 제약 행렬 $A$의 낮은 질서 구조를 활용하여 문제의 효과적 차원을 감소시켜 반복 한계를 향상시킨다.
• 자기-일관성 장벽 프레임워크를 활용하지만, 높은 비용이 드는 보편 장벽 평가를 피하기 위해 적응형이고 질서 인식 장벽 근사치를 사용한다.
• 반복 내에서 시스템 해법을 가속화하기 위해 반복적 해법 및 조절 기법과 같은 고급 선형 대수 기법을 내점법 프레임워크에 통합한다.
• 이론적 반복 복잡도는 이중 갭 감소 전략을 통해 유도되며, 각 반복에서 다항 시간 내 진행이 보장되며 수렴은 $ ilde{O}( ext{rank}(A)}L)$단계로 제어된다.

실험 결과

연구 질문

• RQ1 기존에 이론적 한계로 간주되던 $ ilde{O}(\sqrt{\text{rank}(A)}L)$의 반복 복잡도 한계를 보편 장벽 방법의 계산 오버헤드 없이 달성할 수 있는가?
• RQ2 각 반복에서 $ ilde{O}(1)$개의 선형 시스템만을 해결하면서도 이 한계를 충족하는 선형 프로그래밍 알고리즘을 설계할 수 있는가?
• RQ3 특히 $m \gg \text{rank}(A)$일 때, 알고리즘의 성능은 비율 $m/\text{rank}(A)$에 대해 어떻게 스케일링되는가?
• RQ4 현대 선형 대수 기법을 활용하여 알고리즘을 효율적으로 병렬 처리하고 가속화할 수 있는가?
• RQ5 이 접근 방식은 보편 장벽 복잡도 한계를 달성할 수 있지만, 기존 보편 장벽 방법의 관련 계산 비용을 지불하지 않는다는 점에서 오랫동안 열려있던 질문을 해결하는가?

주요 결과

• 알고리즘이 $ ilde{O}( ext{rank}(A)}L)$의 반복 복잡도를 달성하여, 네스테로프와 네미로프스키가 1994년에 설정한 이론적 하한선을 정확히 충족한다.
• 반복 계산이 다항 시간 내에 가능한 방법들에 대해, 이전 최선의 반복 한계를 $(m/\text{rank}(A))^{1/4}$의 $ ilde{\Omega}$ 요소로 향상시켰다.
• 각 반복에서 최대 $ ilde{O}(1)$개의 선형 시스템만을 해결하는 방법들에 대해서는 반복 수 면에서 $(m/\text{rank}(A))^{1/2}$의 $ ilde{\Omega}$ 요소로 향상되었다.
• 알고리즘은 병렬 처리가 가능하며 고급 선형 대수 기법과 호환되어, $m$과 $\text{rank}(A)$의 비율에 관계없이 작업량과 깊이 성능을 향상시킬 수 있다.
• 다양한 $m$과 $\text{rank}(A)$ 비율에서, 다항로그 요소를 제외한 범위 내에서 작업량과 깊이 면에서 기존에 알려진 최선의 실행 시간을 근사하거나 초월한다.
• 오랜 기간 동안 열려있던 질문을 해결하여, 기존 보편 장벽 방법의 계산 비용을 지불하지 않고도 보편 장벽 복잡도 한계를 달성할 수 있음을 보여주었다.