[논문 리뷰] SOSTOOLS Version 4.00 Sum of Squares Optimization Toolbox for MATLAB

Antonis Papachristodoulou, James Anderson외 6명|arXiv (Cornell University)|2013. 10. 17.

Advanced Optimization Algorithms Research참고 문헌 11인용 수 112

한 줄 요약

SOSTOOLS v4.00은 MATLAB 내에서 제곱합(SOS) 최적화를 위한 주요 성능 개선을 도입하며, 내부 파싱 엔진을 재설계하여 기초가 되는 정수형프로그래밍(SDP) 솔버의 성능 이하로 계산 및 메모리 오버헤드를 감소시켰다. 기존의 다항식 변수 구조를 다항식 도구와 호환되는 새로운 효율적인 dpvar 형식으로 대체함으로써, 파싱 복잡도가 거의 선형으로 증가하게 되어, 특히 대규모 SOS 프로그램에서 놀라운 속도 향상을 이룩했으며, 동시에 기존 호환성과 사용자 우호성도 유지한다.

ABSTRACT

The release of SOSTOOLS v4.00 comes as we approach the 20th anniversary of the original release of SOSTOOLS v1.00 back in April, 2002. SOSTOOLS was originally envisioned as a flexible tool for parsing and solving polynomial optimization problems, using the SOS tightening of polynomial positivity constraints, and capable of adapting to the ever-evolving fauna of applications of SOS. There are now a variety of SOS programming parsers beyond SOSTOOLS, including YALMIP, Gloptipoly, SumOfSquares, and others. We hope SOSTOOLS remains the most intuitive, robust and adaptable toolbox for SOS programming. Recent progress in Semidefinite programming has opened up new possibilities for solving large Sum of Squares programming problems, and we hope the next decade will be one where SOS methods will find wide application in different areas. In SOSTOOLS v4.00, we implement a parsing approach that reduces the computational and memory requirements of the parser below that of the SDP solver itself. We have re-developed the internal structure of our polynomial decision variables. Specifically, polynomial and SOS variable declarations made using sossosvar, sospolyvar, sosmatrixvar, etc now return a new polynomial structure, dpvar. This new polynomial structure, is documented in the enclosed dpvar guide, and isolates the scalar SDP decision variables in the SOS program from the independent variables used to construct the SOS program. As a result, the complexity of the parser scales almost linearly in the number of decision variables. As a result of these changes, almost all users will notice a significant increase in speed, with large-scaleproblems experiencing the most dramatic speedups. Parsing time is now always less than 10% of time spent in the SDP solver. Finally, SOSTOOLS now provides support for the MOSEK solver interface as well as the SeDuMi, SDPT3, CSDP, SDPNAL, SDPNAL+, and SDPA solvers.

연구 동기 및 목표

• 대규모 제곱합 프로그램(SOSPs)의 파싱에서 발생하는 점점 커지는 계산 및 메모리 병목 현상이, 결과적으로 유도되는 정수형프로그래밍(SDP) 해법 비용을 초월하는 문제를 해결한다.
• 다항식 및 SOS 결정 변수의 내부 표현 방식을 재설계하여 파싱 오버헤드를 최소화함으로써 SOS 프로그래밍 도구의 효율성을 향상시킨다.
• 기존의 호환성은 유지하면서도, 수만 개의 결정 변수를 포함한 SOSPs의 경우에 특히 빠른 파싱 및 해법 시간을 확보한다.
• 대규모 다항식 최적화가 필요한 분야에서 SOS 방법의 광범위한 도입을 가능하게 하기 위해, 계산 장벽을 낮춘다.
• 핵심 데이터 유형의 구조적 변경을 통해 저수준 성능 향상을 이룩하면서도, 연구자 및 전문가들이 사용하기 쉬운 인터페이스를 유지한다.

제안 방법

• SOS 프로그램의 결정 변수에 최적화된 새로운 내부 데이터 구조인 dpvar를 도입하여, 다항식 구축에 사용되는 독립 변수와 분리한다.
• 기존의 변수 선언 함수들(예: sossosvar, sospolyvar)을 dpvar 기반의 동등한 함수로 교체하여 파싱을 단순화하고 기호 오버헤드를 감소시킨다.
• MATLAB의 기호 수학 도구상자를 사용하지 않도록 하여, 파싱 시간과 메모리 소비를 감소시키기 위해 multipoly 도구상자를 통합한다.
• SDP 결정 변수와 다항식 변수를 분리하여 솔버 인터페이스를 재구성함으로써, RRx/RRy 행렬을 통한 효율적인 순서 조정 및 재정렬을 가능하게 한다.
• 사용자가 정의한 SOS 변수를 SDP 솔버가 요구하는 입력 형식으로 매핑하기 위해 순열 행렬(RRx, RRy)을 사용하여 저수준 복잡성을 사용자로부터 추상화한다.
• 파싱 파이프라인을 최적화하여, 복잡도가 결정 변수 수에 대해 거의 선형으로 증가하도록 하여, 대규모 문제에서 SDP 솔버 자체의 복잡도를 뛰어넘는 성능을 달성한다.

실험 결과

연구 질문

• RQ1 제곱합 최적화에서의 파싱 오버헤드를 SDP 해법 단계의 오버헤드 이하로 낮출 수 있는가?
• RQ2 다항식 및 SOS 변수의 내부 표현 방식을 어떻게 재구성하면 대규모 SOS 프로그램에서 확장성과 메모리 사용을 향상시킬 수 있는가?
• RQ3 multipoly 도구상자와 새로운 dpvar 구조의 통합이, 사용성 손실 없이 SOS 프로그램의 파싱 속도를 얼마나 향상시킬 수 있는가?
• RQ4 SOSTOOLS v4.00의 새로운 아키텍처가 다양한 크기의 SOS 문제, 특히 대규모 문제에서 뚜렷한 성능 향상을 이끌어낼 수 있는가?
• RQ5 새로운 파싱 파이프라인은 기존 SOSTOOLS 워크플로우와의 호환성을 유지하면서도 상당한 속도 향상을 제공할 수 있는가?

주요 결과

• 새로운 dpvar 기반 파싱 아키텍처는 SDP 솔버 자체의 오버헤드 이하로 계산 및 메모리 오버헤드를 감소시켜, 이제 파싱이 더 이상 병목이 되지 않는다.
• SOSTOOLS v4.00의 파싱 시간은 결정 변수 수에 대해 거의 선형으로 증가하며, 이는 이전 버전 대비 효율성이 크게 향상됨을 의미한다.
• 특히 수만 개의 결정 변수를 포함한 대규모 SOS 프로그램은 가장 뚜렷한 속도 향상을 경험하며, 파싱 시간이 SDP 해법 시간의 10% 미만으로 감소한다.
• multipoly 도구상자와 새로운 dpvar 구조의 통합으로 이전에 MATLAB 기호 엔진과 연관된 많은 기호 오버헤드가 제거되었다.
• 새로운 아키텍처는 완전한 기존 호환성을 유지하여, 기존 SOSTOOLS 스크립트 및 워크플로우가 수정 없이 그대로 작동한다.
• 해결 파이프라인은 여전히 견고하며, prog.solinfo.extravar.primal 및 prog.solinfo.RRx와 같은 필드를 통해 원시해, 쌍대해, SDP 솔버 정보, 추출된 SOS 분해를 모두 접근할 수 있다.