[논문 리뷰] Solving Linear Programs in the Current Matrix Multiplication Time

Michael B. Cohen, Yin Tat Lee외 1명|arXiv (Cornell University)|2018. 10. 18.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 21

한 줄 요약

이 논문은 선형 프로그래밍을 시간 $ O^*(n^\ho ext{ poly}( ext{log}(n/\ho))) $ 에 해결하는 새로운 확률적 중심경로 방법을 제안한다. 여기서 $ \rho = \min(\omega, 2.5 - \alpha/2, 2 + 1/6) $ 이며, $ \omega $ 는 행렬 곱셈의 지수이고 $ \alpha $ 는 그의 이중 지수이다. 이 방법은 $ \ell_2 $-multiplicative weight 업데이트 하에 투영 행렬을 유지하면서, 반복마다 뿐만 아니라 총 좌표 업데이트 수를 거의 최적화할 수 있도록 한다.

ABSTRACT

This paper shows how to solve linear programs of the form $\min_{Ax=b,x\geq0} c^ op x$ with $n$ variables in time $$O^*((n^ω+n^{2.5-α/2}+n^{2+1/6}) \log(n/δ))$$ where $ω$ is the exponent of matrix multiplication, $α$ is the dual exponent of matrix multiplication, and $δ$ is the relative accuracy. For the current value of $ω\sim2.37$ and $α\sim0.31$, our algorithm takes $O^*(n^ω \log(n/δ))$ time. When $ω= 2$, our algorithm takes $O^*(n^{2+1/6} \log(n/δ))$ time. Our algorithm utilizes several new concepts that we believe may be of independent interest: $\bullet$ We define a stochastic central path method. $\bullet$ We show how to maintain a projection matrix $\sqrt{W}A^{ op}(AWA^{ op})^{-1}A\sqrt{W}$ in sub-quadratic time under $\ell_{2}$ multiplicative changes in the diagonal matrix $W$.

연구 동기 및 목표

• 1989년 Vaidya의 결과 이후 오랫동안 지속된 일반 선형 프로그래밍의 $ O^*(n^{2.5}) $ 런타임 장벽을 깨는 것.
• 행렬 곱셈 복잡도의 최신 진전을 활용하여, 특히 밀도가 높은 경우에 빠른 선형 프로그래밍 알고리즘을 달성하는 것.
• 반복마다 좌표 업데이트 수를 줄이면서도 수렴 보장을 유지하는 확률적 내부점 방법을 설계하는 것.
• $ \ell_2 $-multiplicative weight 변화 하에서 투영 행렬을 이차 이하 시간에 유지하는 새로운 프레임워크를 개발하는 것.
• 선형 프로그래밍의 자연스러운 런타임 한계를 설정하여, 선형 시스템을 푸는 데 있어서 최고의 알려진 시간과 일치시키는 것.

제안 방법

• 반복당 좌표 업데이트 수를 $ O(n) $ 에서 $ \widetilde{O}(\sqrt{n}) $ 로 줄이면서도 $ O^*(\sqrt{n}) $ 총 반복 수를 유지하는 확률적 중심경로 방법을 도입한다.
• $ \ell_2 $-multiplicative weight 업데이트 하에 투영 행렬 $ \sqrt{W}A^\top (AWA^\top)^{-1} A\sqrt{W} $ 을 이차 이하 시간에 유지할 수 있는 기법을 개발한다.
• 수렴을 제어하기 위해 특정 성질을 가진 포텐셜 함수 $ \psi $ 를 사용한다: 대칭적이며, $ |x| $ 에 대해 비감소적이며, 도함수와 이阶도함수의 유계성을 가진다.
• 스케칭 기반 접근을 통해 반복당 $ \widetilde{O}(\sqrt{n}) $ 개의 좌표만 샘플링하고 업데이트함으로써, 반복당 비용을 크게 줄인다.
• 단계 크기를 조정한 수정된 단계 중심경로 방법을 적용하여, 총 단계 수를 $ O^*(n) $ 으로 유지하면서도 단계당 비용을 낮춘다.
• 행렬 곱셈의 이중 지수 $ \alpha $ 를 활용하여, 행렬 곱셈 비용과 반복 수 사이의 트레이드오���을 개선한다.

Figure 1: ClassicalStep happens with $n^{-2}$ probability

실험 결과

연구 질문

• RQ1 현대의 행렬 곱셈 기법을 활용하여, 밀도가 높은 선형 프로그래밍의 $ O^*(n^{2.5}) $ 런타임을 향상시킬 수 있는가?
• RQ2 $ \ell_2 $-multiplicative weight 변화 하에서 투영 행렬을 이차 이하 시간에 유지하는 것은 가능한가?
• RQ3 중앙경로 방법의 확률적 변종이 수렴을 희생시키지 않고도 반복당 좌표 업데이트 수를 줄일 수 있는가?
• RQ4 내부점 방법에서 행렬 곱셈 비용과 반복 수 사이의 최적 트레이드오프는 무엇인가?
• RQ5 현재의 행렬 곱셈 지수 $ \omega $ 는 선형 프로그래밍 알고리즘의 런타임에 기본적인 한계를 설정하는가?

주요 결과

• 알고리즘은 현재의 $ \omega \sim 2.38 $ 과 $ \alpha \sim 0.31 $ 값을 기반으로 $ O^*(n^\omega \log(n/\delta)) $ 시간에 선형 프로그래밍을 해결하며, 선형 시스템을 푸는 데 있어서 최고의 알려진 시간과 일치한다.
• $ \omega = 2 $ 일 경우, 런타임은 $ O^*(n^{2+1/6} \log(n/\delta)) $ 로 개선되어 이전의 $ O^*(n^{2.5}) $ bound 를 초월한다.
• 이 방법은 $ \ell_2 $-multiplicative weight 업데이트 하에 투영 행렬을 이차 이하 시간에 유지하며, 이는 성능 향상의 핵심 기술적 혁신이다.
• 반복당 $ \widetilde{O}(\sqrt{n}) $ 개의 좌표만 업데이트함으로써 총 좌표 업데이트 수를 $ O^*(n) $ 으로 줄여 거의 최적화된 상태를 달성한다.
• 이 프레임워크는 일반적이므로, 경험적 위험 최소화, 커팅 플레인 방법, 준선형 프로그래밍 등 다른 문제로도 확장 가능하다.
• 결과적으로 선형 프로그래밍에 자연스러운 런타임 장벽을 설정하며, 이는 최고의 알려진 행렬 곱셈 복잡도와 일치한다.

Figure 2: $\psi(x)$ , $\psi(x)^{\prime}$ and $\psi(x)^{\prime\prime}$ . For $\epsilon_{\mathrm{mp}}\in(0,1)$ .