[논문 리뷰] Sparse Polynomial Optimization: Theory and Practice

Victor Magron, Jie Wang|arXiv (Cornell University)|2022. 08. 23.

Advanced Optimization Algorithms Research인용 수 6

한 줄 요약

이 논문은 다항 최적화 문제(POPs)의 확장성과 효율성을 향상시키기 위해 상관성과 항의 희소성(correlative and term sparsity)을 활용한 희소 다항 최적화를 위한 종합적인 프레임워크를 제시한다. 희소 모멘트-SOS 계층 구조와 체인드 스파arsity, 낮은 질량 행렬 분해를 통합함으로써 제어 시스템, 양자 정보, 딥 러닝 분야의 대규모 문제에 대해 고정밀도 해를 제공할 수 있으며, 다양한 벤치마크에서 계산 속도와 메모리 사용량 향상이 입증되었다.

ABSTRACT

The problem of minimizing a polynomial over a set of polynomial inequalities is an NP-hard non-convex problem. Thanks to powerful results from real algebraic geometry, one can convert this problem into a nested sequence of finite-dimensional convex problems. At each step of the associated hierarchy, one needs to solve a fixed size semidefinite program, which can be in turn solved with efficient numerical tools. On the practical side however, there is no-free lunch and such optimization methods usually encompass severe scalability issues. Fortunately, for many applications, we can look at the problem in the eyes and exploit the inherent data structure arising from the cost and constraints describing the problem, for instance sparsity or symmetries. This book presents several research efforts to tackle this scientific challenge with important computational implications, and provides the development of alternative optimization schemes that scale well in terms of computational complexity, at least in some identified class of problems. The presented algorithmic framework in this book mainly exploits the sparsity structure of the input data to solve large-scale polynomial optimization problems. We present sparsity-exploiting hierarchies of relaxations, for either unconstrained or constrained problems. By contrast with the dense hierarchies, they provide faster approximation of the solution in practice but also come with the same theoretical convergence guarantees. Our framework is not restricted to static polynomial optimization, and we expose hierarchies of approximations for values of interest arising from the analysis of dynamical systems. We also present various extensions to problems involving noncommuting variables, e.g., matrices of arbitrary size or quantum physic operators.

연구 동기 및 목표

• 대규모 다항 최적화 문제(POPs)의 계산 비가역성을 구조적 희소성의 특성을 활용하여 해결하고자 한다.
• 상관성과 항의 희소성을 활용하여 계산 복잡도를 감소시키는 효율적인 모멘트-SOS 계층을 개발하고자 한다.
• 로버스트성 인증, 안정성 분석, 양자 벨 부등식과 같은 실제 응용 분야에서 POPs를 해결하기 위한 실용적인 알고리즘과 소프트웨어 도구를 제공하고자 한다.
• 비가환 설정으로의 희소 최적화를 확장하여 트레이스 다항식과 공동 스펙트럼 반경 계산을 포함하고자 한다.
• 재현 가능하고 확장 가능한 계산을 위해 MATLAB 및 Julia에서 오픈소스 구현을 제공하고자 한다.

제안 방법

• 논문은 상관성 희소성(CS)과 항 희소성(TS)을 통합한 CS-TSSOS 계층을 도입하여 정수형 프로그래밍(SDPs)의 크기를 줄인다.
• 체인드 스파arsity 패턴과 희소 모멘트/로컬라이징 행렬을 활용하여 큰 SDPs를 더 작은 독립적인 부분문제로 분해한다.
• 모노미얼 기저 축소와 최소 초기 이완 단계를 통한 희소 SOS 이완을 사용하여 효율성을 향상시킨다.
• 비가환 최적화의 경우, GNS 구성과 희소 표현을 활용하여 추적 다항식과 비가환 모멘트 행렬로 프레임워크를 확장한다.
• 일阶 SDP 솔버와 이분법 기반 알고리즘을 통합하여 공동 스펙트럼 반경(JSR) 계산에 수렴 보장을 제공한다.
• TSSOS, NCTSSOS, SparseJSR, SparseDynamicSystem 라이브러리를 통해 Julia에서 프레임워크를 구현하여 종단 간 응용 배포를 지원한다.

실험 결과

연구 질문

• RQ1 상관성과 항의 희소성을 동시에 활용하여 다항 최적화에서 모멘트-SOS 이완의 크기를 어떻게 줄일 수 있는가?
• RQ2 희소 SDP 공식화가 대규모 POPs의 전역 최적화에서 수렴성과 정확성에 미치는 영향은 무엇인가?
• RQ3 희소 모멘트-SOS 계층은 비가환 다항 최적화와 양자 정보 문제로 효과적으로 확장될 수 있는가?
• RQ4 딥 뉴럴 네트워크의 로버스트성과 전력 흐름 최적화와 같은 실제 응용에서 희소 이완은 조밀한 공식화에 비해 성능과 확장성에서 어떻게 비교되는가?
• RQ5 최소 초기 이완과 체인드 확장의 역할은 효율적이고 정확한 해를 달성하는 데 어떤 영향을 미치는가?

주요 결과

• CS-TSSOS 계층은 전역 수렴을 달성하며, SDP 크기를 크게 줄여 이전에는 해결이 불가능했던 POPs의 해를 가능하게 한다.
• 공동 스펙트럼 반경(JSR) 문제에서 SparseJSR 알고리즘은 이완 순서 r=2에서 밀도 기반 방법 대비 20~50%의 속도 향상을 기록한다.
• 딥 러닝의 로버스트성 인증에서, 이 방법은 더 낮은 메모리 사용량으로 더 날카운 Lipschitz 경계를 계산하여 표준 SOS 이완보다 뛰어난 성능을 보였다.
• 비가환 벨 부등식의 경우, NCTSSOS 프레임워크는 첫 번째 부등식에 대해 -13.7333, 두 번째 부등식에 대해 -13.7393의 상한을 계산하였으며, 이는 알려진 이론적 값과 일치하였다.
• 최소 체인드 확장(TS="MD")을 사용할 경우, 최대 확장 대비 최대 40%의 SDP 크기 감소를 기록하여 확장성 향상에 기여하였다.
• Julia에서의 TSSOS 및 NCTSSOS 솔버는 Max-Cut 및 최적 전력 흐름 벤치마크에서 최대 10배의 속도 향상을 기록하였으며, 메모리 절감률이 50%를 초과하였다.