[논문 리뷰] Solving Tall Dense SDPs in the Current Matrix Multiplication Time.

Baihe Huang, Shunhua Jiang외 2명|arXiv (Cornell University)|2021. 01. 20.

Advanced Optimization Algorithms Research참고 문헌 64인용 수 4

한 줄 요약

이 논문은 제약 행렬의 선형 시스템을 풀기 위한 이론적 하한선인 $m^\omega$ 시간 내에 최적의 행렬 곱셈 시간으로 정수형 프로그래밍(SDPs)을 풀 수 있는 첫 번째 내점법을 제시한다. 이는 $m \geq \Omega(n^2)$ 조건을 만족할 때 성립한다. 이 방법은 크로네커 tích의 역행렬에 대한 레이지 업데이트와 정규화된 양의 준정부호 행렬을 위한 새로운 분할 기반 전략을 활용하여, 첫 번째 최적 시간의 SDP 해법기를 구현한다.

ABSTRACT

This paper introduces a new interior point method algorithm that solves semidefinite programming (SDP) with variable size $n imes n$ and $m$ constraints in the (current) matrix multiplication time $m^{\omega}$ when $m \geq \Omega(n^2)$. Our algorithm is optimal because even finding a feasible matrix that satisfies all the constraints requires solving an linear system in $m^{\omega}$ time. Our work improves the state-of-the-art SDP solver [Jiang, Kathuria, Lee, Padmanabhan and Song, FOCS 2020], and it is the first result that SDP can be solved in the optimal running time. Our algorithm is based on two novel techniques: $\bullet$ Maintaining the inverse of a Kronecker product using lazy updates. $\bullet$ A general amortization scheme for positive semidefinite matrices.

연구 동기 및 목표

• 제약 행렬의 선형 시스템을 풀기 위한 최고의 알려진 SDP 해법기와 이론적 하한선인 $m^\omega$ 사이의 격차를 메우기 위해.
• 밀도가 높고 $m \geq \Omega(n^2)$ 제약 조건을 가진 정수형 프로그래밍 문제에 대해 최적의 실행 시간을 달성하는 내점법을 개발하기 위해.
• SDP 맥락에서 행렬 역행렬 유지를 및 업데이트의 분할 기반 효율성을 높이는 데 기여하는 새로운 알고리즘 기법을 설계하기 위해.
• SDP 문제를 현재의 행렬 곱셈 시간 내에 해결할 수 있으며, 이는 정보 이론적 하한선과 일치함을 입증하기 위해.

제안 방법

• 반복 최적화 단계에서 비용이 많이 드는 재계산을 피하기 위해 크로네커 곱의 역행렬을 레이지 업데이트 방식으로 유지하기 위해.
• 다중 반복 동안의 행렬 업데이트 비용을 줄이기 위한 일반적인 분할 기반 전략을 정규화된 양의 준정부호 행렬에 도입하기 위해.
• 이러한 기법들을 통합하여 수치적 안정성을 유지하면서도 최적의 시간 복잡도를 달성하는 내점법을 설계하기 위해.
• 매 반복 단계에서 뉴턴 시스템을 풀 때의 중복 연산을 최소화하기 위해 행렬의 구조와 희소성 패턴을 활용하기 위해.
• 심지어 타당성 검사조차도 $m^\omega$ 시간이 소요되므로, 이는 SDP 해법기의 이론적 최소 시간임을 활용하기 위해.
• 제안된 업데이트 및 분할 전략 하에서 알고리즘이 수치적으로 안정적이고 수렴성을 유지하도록 보장하기 위해.

실험 결과

연구 질문

• RQ1 제약 조건 수 $m \geq \Omega(n^2)$ 인 경우, 정수형 프로그래밍 문제를 현재의 행렬 곱셈 시간 $m^\omega$ 내에서 해결할 수 있는가?
• RQ2 내점법 맥락에서 이 최적 시간 복잡도를 달성하는 데 기여하는 새로운 행렬 유지 기법은 무엇인가?
• RQ3 정규화된 양의 준정부호 행렬에 대한 분할 업데이트 전략을 어떻게 일반화하고 SDP 해법기에 적용할 수 있는가?
• RQ4 각 단계에서 전체 재계산 없이 크로네커 곱의 역행렬을 효율적으로 유지할 수 있는가?
• RQ5 제안된 방법이 SDP 해법 시간에 대한 정보 이론적 하한선을 달성하는가?

주요 결과

• 제안된 알고리즘은 $m \geq \Omega(n^2)$ 조건을 만족할 경우 $m^\omega$ 시간 내에 정수형 프로그래밍 문제를 해결하며, 선형 시스템 해법의 이론적 하한선과 정확히 일치한다.
• 이 알고리즘은 밀도가 높은 SDP 문제에 대해 최적의 실행 시간을 달성하는 최초의 알고리즘이며, 이는 이전의 작업(예: Jiang 등, FOCS 2020)을 향상시킨다.
• 크로네커 곱의 역행렬에 대한 레이지 업데이트는 계산 오버헤드를 줄이면서도 정확도와 수렴성을 유지한다.
• 정규화된 양의 준정부호 행렬에 대한 분할 전략은 반복 간 업데이트 전파를 효율적으로 가능하게 한다.
• 이 방법은 SDP 문제를 $m^\omega$ 시간 이내로 해결할 수 없음을 입증하여, 정보 이론적으로 최적임을 확립한다.
• 제안된 구조적 최적화 하에서 알고리즘이 수치적 안정성과 수렴성을 유지한다.