[논문 리뷰] Space-Efficient Interior Point Method, with applications to Linear Programming and Maximum Weight Bipartite Matching

S. Cliff Liu, Zhao Song외 3명|arXiv (Cornell University)|2020. 09. 13.

Complexity and Algorithms in Graphs참고 문헌 73인용 수 11

한 줄 요약

이 논문은 일반 선형 프로그래밍 문제를 해결할 때 $\tilde{O}(n^2)$ 공간과 $\tilde{O}(\bar{m}\text{ passes})$를 사용하는 공간 효율적인 내점법(IPM)을 제안한다. 이는 반면에 최대 무게 이분 매칭 문제에 대해서는 $\tilde{O}(\bar{m})$ 횟수의 패assing만을 요구한다. 이 방법은 이중선형프로그램만 최적화하는 이중선형 IPM 프레임워크를 사용하며, 리커시브 방식으로 레위스 가중치를 계산하고, 메모리에 직접 업데이트하는 헤시안 행렬 업데이트를 통해 원래-이중 상태를 유지하지 않으며, $m$에 대한 다항식 의존성을 제거한다. 이는 $m$에 대한 공간 의존성이 없는 최초의 스트리밍 LP 해법이다.

ABSTRACT

We study the problem of solving linear program in the streaming model. Given a constraint matrix $A\in \mathbb{R}^{m imes n}$ and vectors $b\in \mathbb{R}^m, c\in \mathbb{R}^n$, we develop a space-efficient interior point method that optimizes solely on the dual program. To this end, we obtain efficient algorithms for various different problems: * For general linear programs, we can solve them in $\widetilde O(\sqrt n\log(1/ε))$ passes and $\widetilde O(n^2)$ space for an $ε$-approximate solution. To the best of our knowledge, this is the most efficient LP solver in streaming with no polynomial dependence on $m$ for both space and passes. * For bipartite graphs, we can solve the minimum vertex cover and maximum weight matching problem in $\widetilde O(\sqrt{m})$ passes and $\widetilde O(n)$ space. In addition to our space-efficient IPM, we also give algorithms for solving SDD systems and isolation lemma in $\widetilde O(n)$ spaces, which are the cornerstones for our graph results.

연구 동기 및 목표

• 특히 높고 조밀한 행렬($m \gg n$)에 대해 스트리밍 모델에서 공간 효율적인 선형 프로그래밍 해법이 부족한 문제를 해결한다.
• 기존의 원-이중선형 IPM이 $\Omega(m+n^2)$ 공간을 요구하는 문제를 해결하기 위해 이중선형 최적화 프레임워크로 전환한다.
• 제약 조건 수 $m$에 대한 다항식 의존성이 없는, 부분선형 패assing과 공간 복잡도를 달성하는 스트리밍 알고리즘을 개발한다.
• 최소 정점 커버 및 최대 무게 이분 매칭과 같은 그래프 문제를 반복적으로 해결하기 위해 프레임워크를 확장한다.
• SDD 시스템과 고립성 렘마를 위한 공간 효율적인 해법을 설계하여 그래프 응용의 기초 구성 요소로 활용한다.

제안 방법

• 기본 변수를 유지하지 않는 이중선형 IPM을 제안하여, 헤시안 행렬만 저장함으로써 공간 복잡도를 $\widetilde{O}(n^2)$로 줄인다.
• 전체 행렬을 저장하지 않고도 헤시안의 조건수를 유지하기 위해, 메모리에 직접 계산하는 리커시브 방식의 레위스 가중치 계산을 사용한다.
• 공간 효율적인 뉴턴 스텝 계산을 가능하게 하는 구조를 가진 하이브리드 장벽 함수를 설계하며, 이는 콜레스키 분해를 통해 실현된다.
• 리커시브 리거런스 스코어 추정과 메모리에 직접 업데이트하는 콜레스키 업데이트를 사용하여 스트리밍 모델에서 SDD 시스템 해법을 개발한다.
• 최소 정점 커버 및 최대 무게 이분 매칭 문제를 저트리위드 구조를 가진 이중 LP로 환원하여 그래프 문제에 이중선형 IPM을 적용한다.
• 스트리밍 모델에서 고립성 렘마를 적용하여 유일한 최적해를 보장하고, LP 이중성에 기반해 정확한 매칭을 달성한다.

실험 결과

연구 질문

• RQ1 어떻게 제약 조건 수 $m$에 대한 다항식 의존성이 없는, 부분선형 패assing과 공간 복잡도를 달성하는 스트리밍 모델 내 선형 프로그래밍 해법을 설계할 수 있는가?
• RQ2 반순간 스트리밍 모델에서 최대 무게 이분 매칭 문제를 해결하기 위한 최소 공간 및 패assing 복잡도는 무엇인가?
• RQ3 Lewis 가중치와 리거런스 스코어를 리커시브로 메모리에 직접 계산하여 스트리밍 환경에서 공간 효율적인 IPM을 실현할 수 있는가?
• RQ4 어떻게 $\widetilde{O}(n)$ 공간과 $\widetilde{O}(\bar{m})$ 패assing으로 SDD 시스템을 해결하고, 이를 그래프 문제에 적용할 수 있는가?
• RQ5 이중선형 IPM 프레임워크를 사용하여 $\widetilde{O}(\bar{m})$ 패assing과 $\widetilde{O}(n)$ 공간으로 정확한 최대 무게 이분 매칭을 달성할 수 있는가?

주요 결과

• 논문은 일반 선형 프로그래밍 문제를 $\widetilde{O}(n^2)$ 공간과 $\widetilde{O}(\bar{m})$ 패assing으로 해결하는 이중선형 IPM을 제시한다. 이는 $m$에 대한 다항식 의존성이 없다.
• 최대 무게 이분 매칭 문제에 대해서는 반순간 스트리밍 모델에서 $\widetilde{O}(\bar{m})$ 패assing과 $\widetilde{O}(n)$ 공간을 달성한다.
• 알고리즘은 $\widetilde{O}(n^2)$ 공간에서 리커시브 방식으로 레위스 가중치를 계산하여, 전체 행렬 저장 없이도 효율적인 헤시안 근사가 가능하다.
• SDD 시스템 해법은 $\widetilde{O}(n)$ 공간과 $\widetilde{O}(n)$ 패assing으로 개발되었으며, 그래프 응용의 핵심 기초 원천이 된다.
• 고립성 렘마는 $\widetilde{O}(n)$ 공간에서 구현되었으며, $\widetilde{O}(\bar{m})$ 패assing 내에 LP 이중성에 기반해 정확한 최대 매칭을 달성한다.
• 다항로그 시간 트리위드를 가진 그래프에 대해서는 $\widetilde{O}(n)$ 공간과 $\widetilde{O}(\bar{m})$ 패assing을 달성하여, 도달 가능성 및 SSSP 알고리즘과의 격차를 해소한다.