[논문 리뷰] Faster Dynamic Matrix Inverse for Faster LPs

Shunhua Jiang, Zhao Song외 2명|arXiv (Cornell University)|2020. 04. 16.

Complexity and Algorithms in Graphs참고 문헌 44인용 수 54

한 줄 요약

이 논문은 다단계 Woodbury 항등식을 이용해 cascading 동적 행렬 역 구조를 설계하여 저랭크 업데이트를 가속화하고, 행렬곱 시간에 근접하게 실행되는 더 빠른 내부점 LP 해법기를 제시한다.

ABSTRACT

Motivated by recent Linear Programming solvers, we design dynamic data structures for maintaining the inverse of an $n imes n$ real matrix under $ extit{low-rank}$ updates, with polynomially faster amortized running time. Our data structure is based on a recursive application of the Woodbury-Morrison identity for implementing $ extit{cascading}$ low-rank updates, combined with recent sketching technology. Our techniques and amortized analysis of multi-level partial updates, may be of broader interest to dynamic matrix problems. This data structure leads to the fastest known LP solver for general (dense) linear programs, improving the running time of the recent algorithms of (Cohen et al.'19, Lee et al.'19, Brand'20) from $O^*(n^{2+ \max\{\frac{1}{6}, ω-2, \frac{1-α}{2}\}})$ to $O^*(n^{2+\max\{\frac{1}{18}, ω-2, \frac{1-α}{2}\}})$, where $ω$ and $α$ are the fast matrix multiplication exponent and its dual. Hence, under the common belief that $ω\approx 2$ and $α\approx 1$, our LP solver runs in $O^*(n^{2.055})$ time instead of $O^*(n^{2.16})$.

연구 동기 및 목표

• 빠른 LP 해법 및 관련 응용에서 동적 역 유지의 필요성 제시.
• 저랭크 행렬 업데이트 및 쿼리를 가속화하기 위한 다단계(cascading), 다층 업데이트 프레임워크 개발.
• 새로운 포텐셜 프레임워크와 마팅게일 논증을 이용한 평균적 성능 분석.
• 표준 추측 하에서 프레임워크가 LP 해법을 행렬 곱 시간에 근접하도록 개선한다는 것을 보인다.
• 동적 역(dynamic inverses)을 위한 cascading lazy updates 기법에 대한 자세한 설명 및 분석 제공.

제안 방법

• Woodbury의 항등식을 K>1 수준으로 일반화하여 저랭크 업데이트를 cascading한다.
• 감소하는 임계값을 갖는 K개의 에포크로 업데이트를 분할하고 Woodbury 구성 행렬의 LU 분해를 유지한다.
• 느리게 변하는 LP 관련 벡터의 특성을 활용하여 업데이트 및 쿼리 비용을 균등화하기 위해 cascading lazy updates를 사용한다.
• 투사 유지 단계에서 행렬-벡터 곱을 가속하기 위해 무작위 압축과 스케치를 결합한다.
• 각 레벨당 비용의 균형을 맞춰 높은 확률로 런타임 n* (n^{ω} + n^{2.5−α/2} + n^{2+1/18}) log(n/δ) 달성.

실험 결과

연구 질문

• RQ1 저랭크 업데이트 하에서의 동적 역 유지가 이전의 O*(n^{2+1/6}) LP 접근법보다 가속화될 수 있는가?
• RQ2 많은 레벨(K-레벨) cascading 업데이트가 느리게 변하는 쿼리 벡터가 존재하는 상황에서 역을 효율적으로 유지되도록 어떻게 구현될 수 있는가?
• RQ3 행렬 곱셈 지수 ω와 그 이중 α에 대한 표준 가정하에서 달성 가능한 LP 런타임은 무엇인가?
• RQ4 과정의 비결정적화 없이 무작위 스케칭을 cascading 업데이트에 어느 정도까지 통합할 수 있는가?
• RQ5 제안된 프레임워크가 실용적인 LP 해법기의 반복 횟수 및 전체 런타임 측면에서 어떤 영향을 미치는가?

주요 결과

• 해당 논문은 문제당 O*(n^{ω} + n^{2.5−α/2} + n^{2+1/18})의 LP 해법을 달성하며, 정확도 매개변수에 의해 로그로 확장된다.
• 이상적 레지임(ω≈2, α≈1)에서 해법은 대략 O*(n^{2.055}) 시간에 실행되며, 이전의 O*(n^{2.166}) 벤치마크보다 개선된다.
• 분석에 따라 K=3 레벨의 cascading lazy-update 프레임워크는 한 반복당 런타임을 대략 n^{2+1/18}로 산출한다.
• 업데이트 구조 행렬의 LU 분해를 효율적으로 유지하는 것이 하위 제곱 평균 비용 달성의 핵심이다.
• 무작위 압축 및 스케칭 기법이 결합되어 수렴 보장을 해치지 않으면서 투사 유지 비용을 줄인다.
• 다층 Woodbury 기반 업데이트와 평균 분석을 통해 LP를 넘어 동적 행렬 문제에 대한 일반적인 기법을 제공한다.