[논문 리뷰] A Deterministic Linear Program Solver in Current Matrix Multiplication Time

Jan van den Brand|arXiv (Cornell University)|2019. 10. 25.

Matrix Theory and Algorithms참고 문헌 38인용 수 9

한 줄 요약

이 논문은 현재의 행렬 곱셈 시간 범위에서 가장 빠른 랜덤화 알고리즘과 동일한 근사 최적의 시간 복잡도를 달성하는 최초의 결정적 선형 프ogramming 해법기를 제시한다 — $\tilde{O}(n^{\tau}\text{log}(n/\delta))$이며, 여기서 $\tau$는 행렬 곱셈 지수($\approx 2.38$)이다. 이는 $\varepsilon$-相対적 업데이트 하에서 선형 시스템의 해를 이차 이하 시간 내에 유지할 수 있는 새로운 데이터 구조를 도입함으로써 달성된다. 이로 인해 Cohen, Lee, 그리고 Song의 알고리즘을 효율성을 잃지 않고 완전히 결정적으로 변환할 수 있게 되었다.

ABSTRACT

Interior point algorithms for solving linear programs have been studied extensively for a long time [e.g. Karmarkar 1984; Lee, Sidford FOCS'14; Cohen, Lee, Song STOC'19]. For linear programs of the form $\min_{Ax=b, x \ge 0} c^ op x$ with $n$ variables and $d$ constraints, the generic case $d = Ω(n)$ has recently been settled by Cohen, Lee and Song [STOC'19]. Their algorithm can solve linear programs in $ ilde O(n^ω\log(n/δ))$ expected time, where $δ$ is the relative accuracy. This is essentially optimal as all known linear system solvers require up to $O(n^ω)$ time for solving $Ax = b$. However, for the case of deterministic solvers, the best upper bound is Vaidya's 30 years old $O(n^{2.5} \log(n/δ))$ bound [FOCS'89]. In this paper we show that one can also settle the deterministic setting by derandomizing Cohen et al.'s $ ilde{O}(n^ω\log(n/δ))$ time algorithm. This allows for a strict $ ilde{O}(n^ω\log(n/δ))$ time bound, instead of an expected one, and a simplified analysis, reducing the length of their proof of their central path method by roughly half. Derandomizing this algorithm was also an open question asked in Song's PhD Thesis. The main tool to achieve our result is a new data-structure that can maintain the solution to a linear system in subquadratic time. More accurately we are able to maintain $\sqrt{U}A^ op(AUA^ op)^{-1}A\sqrt{U}\:v$ in subquadratic time under $\ell_2$ multiplicative changes to the diagonal matrix $U$ and the vector $v$. This type of change is common for interior point algorithms. Previous algorithms [e.g. Vaidya STOC'89; Lee, Sidford FOCS'15; Cohen, Lee, Song STOC'19] required $Ω(n^2)$ time for this task. [...]

연구 동기 및 목표

• 현재의 행렬 곱셈 시간 범위에서 오랫동안 존재해 온 랜덤화와 결정적 선형 프로그래밍 해법기 사이의 격차를 해소하기 위해.
• 최근의 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$ 랜덤화 알고리즘(Cohen, Lee, Song, STOC'19)을 결정적으로 변환하기 위해. 이 알고리즘은 이론적으로만 기대 시간 복잡도를 보장할 뿐이었다.
• 동적 업데이트 하에서 $\sqrt{U}A^{\mathrm{}}(AUA^{\mathrm{}})^{-1}A\sqrt{U}v$의 전체 곱을 효율적으로 유지함으로써 중심 경로 방법의 분석을 단순화하기 위해.
• 결정적 선형 프로그래밍에 대해 엄밀한 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$ 시간 복잡도를 달성하여, 가장 뛰어난 랜덤화 알고리즘의 성능과 정확히 일치시키기 위해.

제안 방법

• 행렬 $U$와 벡터 $v$에 대한 $\ell_2$-multiplicative 업데이트 하에서 선형 시스템 $\sqrt{U}A^{\mathrm{}}(AUA^{\mathrm{}})^{-1}A\sqrt{U}v$의 해를 유지할 수 있는 새로운 데이터 구조를 도입한다.
• Sherman-Morrison-Woodbury 항등식을 통해 블록 행렬의 역행렬로의 환원을 이용함으로써, 기존의 동적 선형 시스템 해법기를 재사용할 수 있도록 한다.
• CLS18에서 영감을 얻은 배치 업데이트 및 주기적 재초기화 전략을 적용하여, 다수의 변화가 발생하더라도 평균적으로 이차 이하의 업데이트 비용을 유지한다.
• San04와 vdBNS19에서 제안한 동적 선형 시스템 데이터 구조를 활용하며, 저비용의 평균 비용을 유지하기 위해 리셋 메커니즘을 추가로 통합한다.
• 새로운 데이터 구조를 단계적 중심 경로 방법에 통합하여, 랜덤 샘플링을 결정적 선형 시스템 유지 방식으로 대체한다.
• 장애 파arameter와 탐색 방향에 대한 모든 업데이트를 오차가 제한된 결정적으로 계산함으로써 중심 경로 알고리즘을 결정적으로 변환한다.

실험 결과

연구 질문

• RQ1 최근의 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$ 랜덤화 선형 프로그래밍 해법기를 효율성 손실 없이 결정적으로 변환할 수 있는가?
• RQ2 행렬 $U$와 벡터 $v$에 대한 $\ell_2$-multiplicative 업데이트 하에서 $\sqrt{U}A^{\mathrm{}}(AUA^{\mathrm{}})^{-1}A\sqrt{U}v$의 곱을 이차 이하 시간 내에 유지하는 것이 가능한가?
• RQ3 랜덤 샘플링을 제거하고 결정적 선형 시스템 유지 방식으로 대체함으로써 중심 경로 방법의 분석을 단순화할 수 있는가?
• RQ4 결정적 선형 프로그래밍 해법기 중 시간 복잡도가 가장 뛰어난 랜덤화 알고리즘과 동일한 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$를 달성할 수 있는가?

주요 결과

• 논문은 시간 복잡도 $\tilde{O}(n^{\omega}~\text{log}(n/\delta))$를 갖는 결정적 선형 프로그래밍 해법기를 달성하여, 가장 뛰어난 랜덤화 해법기의 성능과 정확히 일치시켰다.
• 새로운 데이터 구조는 각 업데이트당 $\tilde{O}(n^{\omega})$ 시간 내에 $\sqrt{U}A^{\mathrm{}}(AUA^{\mathrm{}})^{-1}A\sqrt{U}v$를 유지하며, 이는 이전의 $\tOmega(n^2)$의 상한에 비해 크게 향상된 성능이다.
• 랜덤화 제거로 중심 경로 방법의 분석이 단순화되어 증명 길이가 약 절반으로 줄어들었다.
• 이 방법은 기대 시간 복잡도가 아닌 엄밀한 시간 복잡도를 보장함으로써, 내부점 방법의 결정화 문제에 오랫동안 남아 있던 열린 문제를 해결하였다.
• 결과적으로 결정적 알고리즘이 현재의 행렬 곱셈 시간 범위에서 랜덤화 알고리즘과 동일한 점근적 효율성을 달성할 수 있음을 확인하였다.