[논문 리뷰] Efficient Inverse Maintenance and Faster Algorithms for Linear Programming

Yin Tat Lee, Aaron Sidford|arXiv (Cornell University)|2015. 03. 05.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 9

한 줄 요약

이 논문은 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}\vec{x} = \vec{b}$ 형태의 서서히 변화하는 선형 시스템의 시퀀스를 효율적으로 해결하는 새로운 역유지 알고리즘을 소개한다. 이 알고리즘은 저랭크 갱신, 조절 기법, 빠른 행렬 곱셈을 활용한다. 선형 프로그래밍의 경우 $\tilde{O}((\mathrm{nnz}(\mathbf{A})+d^2)\sqrt{d}\log(\epsilon^{-1}))$의 시간 복잡도를 달성하여 이전의 한계를 크게 향상시킨다.

ABSTRACT

In this paper, we consider the following inverse maintenance problem: given $A \in \mathbb{R}^{n imes d}$ and a number of rounds $r$, we receive a $n imes n$ diagonal matrix $D^{(k)}$ at round $k$ and we wish to maintain an efficient linear system solver for $A^{T}D^{(k)}A$ under the assumption $D^{(k)}$ does not change too rapidly. This inverse maintenance problem is the computational bottleneck in solving multiple optimization problems. We show how to solve this problem with $ ilde{O}(nnz(A)+d^ω)$ preprocessing time and amortized $ ilde{O}(nnz(A)+d^{2})$ time per round, improving upon previous running times for solving this problem. Consequently, we obtain the fastest known running times for solving multiple problems including, linear programming and computing a rounding of a polytope. In particular given a feasible point in a linear program with $d$ variables, $n$ constraints, and constraint matrix $A\in\mathbb{R}^{n imes d}$, we show how to solve the linear program in time $ ilde{O}(nnz(A)+d^{2})\sqrt{d}\log(ε^{-1}))$. We achieve our results through a novel combination of classic numerical techniques of low rank update, preconditioning, and fast matrix multiplication as well as recent work on subspace embeddings and spectral sparsification that we hope will be of independent interest.

연구 동기 및 목표

• 변화가 서서히 일어나는 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}$를 포함하는 선형 시스템을 반복적으로 해결하는 최적화 알고리즘의 계산 병목 현상을 해결하기 위해.
• 안정성 가정 하에 $\mathbf{D}^{(k)}$의 변화를 고려해 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}$의 근사 역행렬을 저균형 비용으로 유지하는 동적 해법을 설계하기 위해.
• 이 역유지 프레임워크를 활용해 선형 프로그래밍, 최소비용 유량, 다각형에서의 샘플링과 같은 핵심 최적화 문제를 가속화하기 위해.
• 최근의 부분공간 임bedding 및 스펙트럼 스퍼스피케이션 기술과 고전적인 수치 기법을 융합하여 선형 프로그래밍의 최신 실행 시간을 향상시키기 위해.

제안 방법

• 저랭크 갱신을 사용해 $\mathbf{D}^{(k)}$의 변화를 처리하는 조절된 근사 역행렬을 유지한다.
• 정확도를 유지하면서 시스템 크기를 줄이기 위해 스펙트럼 스퍼스피케이션을 적용하여 계산 속도를 향상시킨다.
• 특히 조밀하거나 고차원인 경우에 빠른 행렬 곱셈을 사용해 핵심 선형 시스템의 해를 가속화한다.
• 조건수를 개선해 반복 해법의 반복 횟수를 줄이기 위해 조절 기법을 적용한다.
• 역행렬을 직접 저장하지 않고도 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}\vec{x} = \vec{b}$를 효율적으로 해결할 수 있도록 설계된 프레임워크를 제공한다.
• 최근의 부분공간 임베딩과 고전적인 수치 기법(예: 공액 경사법, 행렬 조절 기법)을 융합한 접근 방식을 사용한다.

실험 결과

연구 질문

• RQ1 서서히 변화하는 $\mathbf{D}^{(k)}$를 가진 $\mathbf{A}^T\mathbf{D}^{(k)}\mathbf{A}$에 대해 다수의 라운드 동안 효율적인 선형 시스템 해법을 유지할 수 있는가?
• RQ2 이러한 동적 시스템에서 사전 처리 비용과 평균 갱신 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 이 역유지 프레임워크는 선형 프로그래밍을 위한 내부점 방법을 가속화하는 데 사용될 수 있는가?
• RQ4 빠른 행렬 곱셈과 스펙트럼 스퍼스피케이션을 저랭크 갱신과 융합해 해법 성능을 향상시킬 수 있는가?
• RQ5 이 접근 방식은 최소비용 유량 및 다각형에서의 샘플링과 같은 다른 최적화 문제로 확장될 수 있는가?

주요 결과

• 논문은 $\tilde{O}(\mathrm{nnz}(\mathbf{A})+d^{\omega})$의 사전 처리 시간과 $\tilde{O}(\mathrm{nnz}(\mathbf{A})+d^2)$의 라운드당 평균 갱신 시간을 달성하여 이전의 한계를 향상시켰다.
• 변수 수 $n$, 제약 조건 수 $d$, 비제로 원소 수 $\mathrm{nnz}(\mathbf{A})$를 가진 선형 프로그래밍의 경우, $\epsilon$-정확도로 $\tilde{O}((\mathrm{nnz}(\mathbf{A})+d^2)\sqrt{d}\log(\epsilon^{-1}))$의 시간 복잡도를 확보하였다.
• 다각형의 라운딩 계산 및 다중유량 문제 해결의 실행 시간을 향상시켰다.
• 정수 용량과 비용이 $U$ 이하인 그래프에서 정확한 최소비용 최대유량을 $\tilde{O}(|V|^{2.5}\log^{O(1)}(U))$의 시간 복잡도로 계산할 수 있는 알고리즘을 확보하였다.
• Dikin 걷기 샘플링 알고리즘에서 선형 시스템의 해를 더 빠르게 풀 수 있도록 프레임워크를 제공했지만, 행렬식 계산이 여전히 병목 현상이 되고 있다.
• 이전에 Dikin 걷기 성능 향상을 주장한 오류를 수정하였으며, 행렬식 계산이 성능 향상의 한계를 정하고 있음을 지적하였다. 비록 선형 시스템 해법이 더 빨라졌지만, 전체 성능 향상은 제한되어 있다.