[논문 리뷰] A Faster Small Treewidth SDP Solver

Yuzhou Gu, Zhao Song|arXiv (Cornell University)|2022. 11. 11.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 변수 수에 대해 선형 시간 내에 작도수(작은 트리너비)를 가진 정수형 프로그래밍 문제(SDPs)를 해결하는 새로운 알고리즘을 제안한다. 이는 $ O(n \cdot \tau^{2\omega + 0.5} \log(1/\epsilon)) $의 성능을 달성하며, 여기서 $ \omega $는 행렬 곱셈 지수이고 $ \tau $는 트리너비이다. 또한, 저트리너비 선형 프로그래밍 문제에 대한 실행 시간을 $ O(n \cdot \tau^{(\omega+1)/2} \log(1/\epsilon)) $로 향상시켰으며, 이는 이 설정 하에서 처음으로 거의 선형 시간 내에 SDP를 해결하는 알고리즘이다.

ABSTRACT

Semidefinite programming is a fundamental tool in optimization and theoretical computer science. It has been extensively used as a black-box for solving many problems, such as embedding, complexity, learning, and discrepancy. One natural setting of semidefinite programming is the small treewidth setting. The best previous SDP solver under small treewidth setting is due to Zhang-Lavaei '18, which takes $n^{1.5} τ^{6.5}$ time. In this work, we show how to solve a semidefinite programming with $n imes n$ variables, $m$ constraints and $τ$ treewidth in $n τ^{2ω+0.5}$ time, where $ω< 2.373$ denotes the exponent of matrix multiplication. We give the first SDP solver that runs in time in linear in number of variables under this setting. In addition, we improve the running time that solves a linear programming with tau treewidth from $n τ^2$ (Dong-Lee-Ye '21) to $n τ^{(ω+1)/2}$.

연구 동기 및 목표

• 소작도수를 가진 정수형 프로그래밍 문제(SDPs)가 변수 수에 대해 거의 선형 시간 내에 해결될 수 있는지에 대한 열린 질문을 다루는 것.
• 이전까지 알려진 최고의 소작도수 SDP 솔버보다 개선된 성능를 달성하는 것. 이전 솔버는 $ n^{1.5} \tau^{6.5} $ 시간에 작동하였다.
• 저트리너비 선형 프로그래밍 문제에 대해서도 개선을 확장하여 이전의 $ n\tau^2 $ 경계를 초월하는 것.
• 내부점 방법에서 트리너비의 구조와 고급 행렬 곱셈 기법을 활용하여 이를 달성하는 것.

제안 방법

• 알고리즘은 SDP 그래프의 트리 분해를 기반으로 한 새로운 문제 분해를 사용하여, 낮은 트리너비를 활용해 계산 복잡도를 감소시킨다.
• 트리너비 구조에 맞게 맞춤형 장벽 함수와 중심 경로 방법을 적용하여, 이전 방법에서 발생하는 $ \Omega(m^\omega) $ 블로킹을 피한다.
• 트리 분해 노드를 기반으로 재귀적 슈어 여집합 계산을 도입하며, 각 노드에서의 행렬 연산 비용은 $ \widetilde{O}(\tau^{\omega}) $ 이내로 제한된다.
• 제약 조건과 변수의 계층적 군집화를 통해 희소성을 유지하고, 저랭크 업데이트를 통한 효율적인 행렬 역행렬 계산을 가능하게 한다.
• 조건수 분석과 조건수 감소의 정교한 분석을 통합하여 수렴 속도를 보장한다.
• 트리 분해에 대한 동적 프로그래밍과 빠른 행렬 곱셈을 융합하여 $ \widetilde{O}(n \cdot \tau^{2\omega + 0.5}) $의 실행 시간을 달성한다.

실험 결과

연구 질문

• RQ1 소작도수를 가진 정수형 프로그래밍 문제(SDPs)는 변수 수에 대해 선형 시간 내에 해결될 수 있는가?
• RQ2 트리너비에 대한 의존도를 지수에서 $ \tau^6 $ 이하로 낮출 수 있는가, 특히 $ \tau^{2\omega + 0.5} $로 낮출 수 있는가?
• RQ3 유사한 구조적 통찰을 활용하여 저트리너비 선형 프로그래밍 문제의 실행 시간을 향상시킬 수 있는가?
• RQ4 행렬 곱셈 지수 $ \omega \approx 2.373 $ 일지라도, 소작도수 SDP 문제에 대해 변수 수에 대해 거의 선형 시간 내에 해결이 가능한가?

주요 결과

• 논문은 $ O(n \cdot \tau^{2\omega + 0.5} \log(1/\epsilon)) $의 SDP 솔버 실행 시간을 달성하였으며, 이는 변수 수에 대해 선형이며 이전의 $ n^{1.5} \tau^{6.5} $ 경계를 초월한다.
• 이 알고리즘은 표준 선형 독립성 가정 하에 변수 수에 대해 거의 선형 시간 내에 소작도수 SDP 문제를 해결하는 데에 처음으로 성공한 알고리즘이다.
• 저트리너비 선형 프로그래밍 문제에 대해서는 실행 시간이 $ O(n \cdot \tau^{(\omega+1)/2} \log(1/\epsilon)) $로 향상되었으며, 이는 이전의 $ n\tau^2 $ 경계를 초월한다.
• 성능 향상은 트리 분해 내에서의 행렬 연산에 대한 새로운 분석에 기반하며, 각 노드의 효과적 비용을 $ \widetilde{O}(\tau^{\omega}) $로 감소시켰다.
• 희소성과 트리너비의 구조를 활용함으로써, 이전 내부점 방법에서 발생하는 $ \Omega(m^\omega) $ 의존도를 피할 수 있었다.
• 결과는 로그 인자와 행렬 곱셈 지수에 대해 최적에 가까운 것으로, 현재 알려진 최고의 지수인 $ \omega $에 명시적인 의존도를 가지며, 이는 결과의 정확성을 뒷받침한다.