[논문 리뷰] Solving Tall Dense Linear Programs in Nearly Linear Time

Jan van den Brand, Yin Tat Lee외 2명|arXiv (Cornell University)|2020. 02. 06.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 11

한 줄 요약

이 논문은 밀도가 높고 길이가 큰 선형 프로그래밍 문제를 거의 선형 시간 내에 해결하는 랜덤화된 알고리즘을 제시한다. 높은 확률로 $\tilde{O}(nd + d^3)$ 실행 시간을 달성하며, 고전적인 빠른 행렬 곱셈을 사용하지 않으면서도 밀도 높은 문제에 대해 거의 최적의 성능을 유지한다. 이는 무거운 헤드러(heavy-hitter) 데이터 구조, 존슨–린든스트라우스 스케칭(Johnson–Lindenstrauss sketching), 그리고 역행렬 유지 기법을 활용한 안정적인 원시-이중 내점법을 도입함으로써 달성된다.

ABSTRACT

In this paper we provide an $ ilde{O}(nd+d^{3})$ time randomized algorithm for solving linear programs with $d$ variables and $n$ constraints with high probability. To obtain this result we provide a robust, primal-dual $ ilde{O}(\sqrt{d})$-iteration interior point method inspired by the methods of Lee and Sidford (2014, 2019) and show how to efficiently implement this method using new data-structures based on heavy-hitters, the Johnson-Lindenstrauss lemma, and inverse maintenance. Interestingly, we obtain this running time without using fast matrix multiplication and consequently, barring a major advance in linear system solving, our running time is near optimal for solving dense linear programs among algorithms that do not use fast matrix multiplication.

연구 동기 및 목표

• 밀도 높고 길이가 큰 선형 프로그래밍 문제의 실행 시간 격차를 해소하기 위해, 특히 $n = \tilde{\Theta}(d^2)$ 이상일 경우에 유용하게 작용한다.
• 빠른 행렬 곱셈에 의존하지 않는 거의 선형 시간 복잡도를 갖는 선형 프로그래밍 솔버를 개발하는 것.
• 밀도 높은 행렬에 대해 $\tilde{O}(nd + d^3)$ 실행 시간을 달성함으로써, 빠른 행렬 곱셈을 사용하지 않는 최고의 알려진 회귀 알고리즘과 동일한 성능을 달성하는 것.
• 복잡한 $\tell{p}$-레버리지 점수 계산을 피하면서도 $\tilde{O}(d)$ 반복을 갖는 안정적이고 구현 가능한 원시-이중 내점법을 제공하는 것.

제안 방법

• Lee와 Sidford(2014, 2019)의 영감을 받아 $\tilde{O}(d)$ 반복을 갖는 안정적인 원시-이중 내점법(IPM)을 설계하며, 일반적인 $p$-노름 레버리지 점수 대신 $\ell_2$-레버리지 점수를 사용한다.
• 원시 및 이중 반복을 효율적으로 유지하고 업데이트하기 위해 $\ell_2$-중요한 요소(heavy-hitter) 기반의 벡터 데이터 구조를 활용한다.
• 원소가 큰 항목을 탐지하고 근사 행렬 곱을 유지하기 위해 존슨–린든스트라우스 스케칭을 사용하여 효율적인 희소 복구를 가능하게 한다.
• 레버리지 점수 힌트를 활용한 역행렬 유지 기법을 도입하여 IPM 내에서 역행렬을 효율적으로 업데이트함으로써 반복당 비용을 감소시킨다.
• 누적 합을 유지하고 레버리지 점수의 변화를 탐지하기 위한 새로운 데이터 구조를 활용하여 동적 업데이트에 낮은 오버헤드를 제공한다.
• 이러한 구성 요소들을 통합하여, 뉴턴 단계 총 비용, 헤시안 업데이트, 타당성 보정 비용을 제한함으로써 $\tilde{O}(nd + d^3)$ 시간을 달성하는 완전한 알고리즘을 구성한다.

실험 결과

연구 질문

• RQ1 빠른 행렬 곱셈에 의존하지 않고도 밀도 높고 길이가 큰 문제에 대해 거의 선형 시간 복잡도를 달성할 수 있는 선형 프로그래밍 솔버가 존재할 수 있는가?
• RQ2 복잡한 $p$-노름 레버리지 점수 계산을 피하면서도 $\tilde{O}(d)$ 반복을 갖는 안정적이고 원시-이중 내점법(IPM)을 설계할 수 있는가?
• RQ3 헤드러 및 스케칭 기법을 사용하여 IPM 내에서 원시-이중 반복과 행렬 역행렬과 같은 핵심 양상을 효율적으로 유지할 수 있는가?
• RQ4 거의 선형 시간 성능을 달성하기 위해 $n$과 $d$ 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 빠른 행렬 곱셈을 사용하면 $d^3$ 항을 $d^{\omega}$로 줄일 수 있는가, 아니면 $d^3$이 빠른 곱셈을 사용하지 않는 알고리즘에서 거의 최적의 성능인가?

주요 결과

• 알고리즘은 $d$개의 변수와 $n$개의 제약 조건을 갖는 선형 프로그래밍 문제를 높은 확률로 $\tilde{O}(nd + d^3)$ 시간 내에 해결하며, 밀도 높고 길이가 큰 행렬에 대해 거의 선형 시간 성능을 달성한다.
• 이 방법은 빠른 행렬 곱셈이 없는 환경에서 이전의 $\tilde{O}(d^{2.5})$ 경계보다 크게 향상된 $\tilde{O}(d)$ 내점법 반복을 사용한다.
• 빠른 행렬 곱셈을 피했기 때문에, 선형 시스템 해법 분야의 돌파구가 없을 경우, 빠른 곱셈을 사용하지 않는 알고리즘 중 거의 최적의 성능을 달성한다.
• $\ell_2$ 레버리지 점수와 헤드러 데이터 구조의 사용은 이전의 $p$-노름 가중치에 의존하는 방법보다 IPM의 단순화와 안정성 향상을 이룬다.
• 역행렬 유지 및 레버리지 점수 유지 구성 요소가 효율적임이 입증되었으며, 기대 비용이 $O(K \log^2 n)$ 이하로 제한된다. 여기서 $K$는 반복 횟수이다.
• 알고리즘은 빠른 행렬 곱셈을 사용하지 않는 최고의 알려진 밀도 높은 선형 회귀 알고리즘의 실행 시간과 일치하며, 밀도 높은 선형 프로그래밍의 새로운 기준을 설정한다.