[논문 리뷰] A Survey of Recent Scalability Improvements for Semidefinite Programming with Applications in Machine Learning, Control, and Robotics

Anirudha Majumdar, Georgina Hall외 1명|arXiv (Cornell University)|2019. 08. 14.

Sparse and Compressive Sensing Techniques참고 문헌 113인용 수 11

한 줄 요약

이 종합 검토는 기계 학습, 제어, 로봇 공학 분야에서 사용되는 대규모 준선형계획법(SDP)의 스케일링 기술 향상에 대해 최근의 발전을 검토한다. 네 가지 핵심 전략—희소성과 대칭성의 활용, Burer-Monteiro 및 Frank-Wolfe 방법을 통한 저랭크 근사, ADMM 및 보조 라그랑주 알고리즘, DSOS/SDSOS를 이용한 보수적인 근사—를 통합하여, 이들이 이론적 보장과 실용적 성능을 유지하면서도 대규모 SDP 문제를 효율적으로 해결할 수 있도록 하는 방법을 보여준다.

ABSTRACT

Historically, scalability has been a major challenge to the successful application of semidefinite programming in fields such as machine learning, control, and robotics. In this paper, we survey recent approaches for addressing this challenge including (i) approaches for exploiting structure (e.g., sparsity and symmetry) in a problem, (ii) approaches that produce low-rank approximate solutions to semidefinite programs, (iii) more scalable algorithms that rely on augmented Lagrangian techniques and the alternating direction method of multipliers, and (iv) approaches that trade off scalability with conservatism (e.g., by approximating semidefinite programs with linear and second-order cone programs). For each class of approaches we provide a high-level exposition, an entry-point to the corresponding literature, and examples drawn from machine learning, control, or robotics. We also present a list of software packages that implement many of the techniques discussed in the paper. Our hope is that this paper will serve as a gateway to the rich and exciting literature on scalable semidefinite programming for both theorists and practitioners.

연구 동기 및 목표

• 기계 학습, 제어, 로봇 공학 등 다양한 분야에서의 대규모 응용에 한계를 초래하는 준선형계획법(SDP)의 오랜 스케일링 과제를 해결한다.
• 구조적 특성 활용, 저랭크 근사, 보수적 완화 등 최근의 기법들을 체계적으로 분류하고 비교한다.
• 이론가와 실무자 모두가 사용할 수 있는 확장 가능한 SDP 문헌에 대한 통합적 입구를 제공하며, 응용 사례와 소프트웨어 참조를 포함한다.
• 현대의 SDP 솔버에서 계산 효율성, 해의 정확도, 이론적 보장 간의 상호 상충 관계를 부각시킨다.

제안 방법

• 구조적 희소성 패턴을 가진 문제에서 발생하는 문제의 크기와 계산 비용을 줄이기 위해, 체이널 희소성과 얼굴 감소 기법을 활용해 SDP 제약 조건의 희소성과 대칭성을 활용한다.
• Burer-Monteiro 분해를 적용하여 SDP 문제를 저랭크 행렬 위의 비볼록 문제로 재구성함으로써, 리만 기반 최적화 및 보조 라그랑주 최적화를 효율적으로 수행할 수 있도록 한다.
• Frank-Wolfe 유형 알고리즘을 사용해 수렴 보장을 갖는 반복적 방법으로 저랭크 해를 구성하며, 특히 희소성이나 구조적 특성을 가진 문제에서 뛰어난 성능을 발휘한다.
• ADMM 및 보조 라그랑주 방법을 적용하여 대규모 SDP 문제를 더 작은 해석 가능한 부분문제로 분해함으로써 메모리 효율성과 병렬 처리 능력을 향상시킨다.
• 두 번째 순서 원형 프로그래밍과 선형 프로그래밍을 이용한 콘익 근사인 DSOS 및 SDSOS 프로그램을 사용해 SDP를 근사함으로써, 더 빠르고 확장 가능한 해법을 달성하지만, 일부 보수성은 수반된다.
• DSOS/SDSOS 근사의 정밀도를 향상시키기 위해 적응형 기저 변환과 컬럼 생성 기법을 통합하여 반복적으로 개선함으로써, 전체 SDP 해를 풀지 않더라도 해의 품질을 높일 수 있도록 한다.

실험 결과

연구 질문

• RQ1 SDP 제약 조건의 희소성과 대칭성은 어떻게 활용되어 계산 복잡도와 메모리 사용량을 줄일 수 있는가?
• RQ2 SDP의 저랭크 근사 해는 최적성과 수렴 보장을 유지하면서 얼마나 효율적으로 계산될 수 있는가?
• RQ3 ADMM 및 보조 라그랑주 방법은 대규모 SDP 문제에 효과적으로 적용되어 확장성과 수렴 성능을 향상시킬 수 있는가?
• RQ4 SDP를 DSOS 또는 SDSOS 근사로 대체할 경우, 확장성과 해의 보수성 간의 상호 상충 관계는 어떠한가?
• RQ5 DSOS/SDSOS 방법의 적응형 개선 기법은 전체 SDP 해를 풀지 않더라도 해의 품질을 어떻게 향상시키는가?

주요 결과

• 희소성과 대칭성의 활용은 다항식 최적화 및 제어 문제에서 발생하는 구조적 희소성 패턴을 가진 문제에서 SDP 해법 시간을 수십만 배 이상 감소시킬 수 있다.
• 리만 기반 최적화를 사용하는 Burer-Monteiro 방법은 2차 임계점으로 수렴하며, 저랭크 해를 가지는 대규모 SDP 문제에 효과적이다.
• Frank-Wolfe 기반 접근법(예: Hazan의 알고리즘)은 하위선형 수렴을 보이며, 특히 희소성이나 저랭크 구조를 가진 문제에서 뛰어난 성능을 발휘한다.
• ADMM 기반 솔버인 SCS와 Pajarito는 문제를 분해하고 부분문제를 반복적으로 풀음으로써 대규모 SDP 문제에서 높은 확장성을 달성한다.
• DSOS 및 SDSOS 근사는 다항식 시간 복잡도를 가지며, 신경망 검증 및 강건 제어 문제 해결에 효과적인 확장 가능한 SDP 대체 방법이다.
• DSOS/SDSOS에 대한 적응형 기저 변환과 컬럼 생성 기법은 해의 품질을 크게 향상시키며, 전체 SDP 해를 풀지 않더라도 더 타이트한 근사를 유지하면서 계산 효율성을 확보한다.