[논문 리뷰] Response to "Counterexample to global convergence of DSOS and SDSOS hierarchies"

Amir Ali Ahmadi, Anirudha Majumdar|arXiv (Cornell University)|2017. 10. 09.

Fault Detection and Control Systems참고 문헌 7인용 수 4

한 줄 요약

이 논문은 다항식 최적화를 위한 DSOS 및 SDSOS 계층 구조가 국소적으로 수렴하지 않는다는 비판에 대응한다. 저자들은 비판에서 정의된 특정 계층 구조에 대해 이러한 수렴성을 주장한 바가 없으며, 오히려 기존의 선형계획법(LP) 및 2차원형계획법(SOCP) 기반 계층 구조를 통해 수렴 가능한 (S)DSOS 기반 계층 구조의 존재를 주장했다. 저자들은 또한 확장성에 대한 주장도 반박하며, SOCP 제약 조건의 수가 지수적으로 증가하는 것이 아니라 다항식적으로 증가함을 보이며, 대규모 문제에서 뚜렷한 계산적 이점을 보여준다.

ABSTRACT

In a recent note [8], the author provides a counterexample to the global convergence of what his work refers to as "the DSOS and SDSOS hierarchies" for polynomial optimization problems (POPs) and purports that this refutes claims in our extended abstract [4] and slides in [3]. The goal of this paper is to clarify that neither [4], nor [3], and certainly not our full paper [5], ever defined DSOS or SDSOS hierarchies as it is done in [8]. It goes without saying that no claims about convergence properties of the hierarchies in [8] were ever made as a consequence. What was stated in [4,3] was completely different: we stated that there exist hierarchies based on DSOS and SDSOS optimization that converge. This is indeed true as we discuss in this response. We also emphasize that we were well aware that some (S)DSOS hierarchies do not converge even if their natural SOS counterparts do. This is readily implied by an example in our prior work [5], which makes the counterexample in [8] superfluous. Finally, we provide concrete counterarguments to claims made in [8] that aim to challenge the scalability improvements obtained by DSOS and SDSOS optimization as compared to sum of squares (SOS) optimization. [3] A. A. Ahmadi and A. Majumdar. DSOS and SDSOS: More tractable alternatives to SOS. Slides at the meeting on Geometry and Algebra of Linear Matrix Inequalities, CIRM, Marseille, 2013. [4] A. A. Ahmadi and A. Majumdar. DSOS and SDSOS optimization: LP and SOCP-based alternatives to sum of squares optimization. In proceedings of the 48th annual IEEE Conference on Information Sciences and Systems, 2014. [5] A. A. Ahmadi and A. Majumdar. DSOS and SDSOS optimization: more tractable alternatives to sum of squares and semidefinite optimization. arXiv:1706.02586, 2017. [8] C. Josz. Counterexample to global convergence of DSOS and SDSOS hierarchies. arXiv:1707.02964, 2017.

연구 동기 및 목표

• 최근 비판에서 저자들이 DSOS 및 SDSOS 계층 구조에 대해 전역 수렴성을 주장했다는 오해를 바로잡는 것.
• 저자들의 원래 논문에서 비판에서 제시된 특정 계층 구조에 대해 수렴성을 정의하거나 주장한 바가 없음을 재확인하는 것.
• 기존의 LP 및 SOCP 기반 계층 구조를 바탕으로 수렴 가능한 (S)DSOS 기반 계층 구조가 존재함을 보여주는 것.
• DSOS 최적화가 SOCP 제약 조건의 수가 지수적으로 증가하여 SOS보다 더 타당성이 떨어진다는 주장에 반박하는 것.
• (S)DSOS 프로그래밍이 대규모 다항식 최적화 문제에서 실용적인 확장성과 계산적 이점이 있음을 강조하는 것.

제안 방법

• 비판에서 정의된 특정 계층 구조와 저자들이 실제로 논의한 (S)DSOS 기반 계층 구조의 일반적 범주를 구분함으로써 반박한다.
• 기존의 수렴 가능한 계층 구조(예: Lasserre, Peña-Vera-Zuluaga, Ahmadi-Hall)를 활용하여 (S)DSOS 기반 수렴 가능한 계층 구조의 존재를 증명한다.
• SDSOS 프로그램에서 정수형 제약 조건을 SOCP 제약 조건으로 대체할 경우, 제약 조건 수가 지수적으로 증가하는 것이 아니라 다항식적으로 증가함을 보여준다.
• SOS 프로그래밍과 동일한 행렬 크기를 유지하지만, 고비용의 SDP 제약 조건을 저비용의 SOCP 제약 조건으로 대체함으로써 계산 속도 향상을 가능하게 한다.
• 원본 논문의 정리 10 및 정리 12 [5]를 통해 다항식 시간 해법의 등가성을 이론적으로 정당화한다.
• 로봇공학, 제어, 조합 최적화 등 다양한 분야의 수치 예제를 활용하여 확장성과 실용적 성능을 검증한다.

실험 결과

연구 질문

• RQ1 비판에서 정의한 DSOS 및 SDSOS 계층 구조가 저자들의 이전 논문에서 제기한 주장들을 실제로 반박하는가?
• RQ2 DSOS 및 SDSOS 최적화 기반으로 전역 수렴 가능한 계층 구조를 타당하게 구성할 수 있는가?
• RQ3 SDSOS 프로그램의 2차원형 제약 조건 수가 계층 순서에 따라 지수적으로 증가하는가?
• RQ4 (S)DSOS 최적화가 대규모 문제에서 SOS 프로그래밍보다 실용적인 확장성 이점을 제공할 수 있는가?
• RQ5 (S)DSOS 프로그래밍의 보수성은 SOS에 비해 실용적 유용성을 손상시킬 만큼 크기가 큰가?

주요 결과

• 비판에서 정의한 특정 DSOS 및 SDSOS 계층 구조에 대해 저자들은 전역 수렴성을 주장한 바가 없으므로, 그 반례는 저자들의 어떤 주장도 반박하지 않는다.
• 기존의 LP 및 SOCP 기반 계층 구조를 활용해 변환 가능한 바탕으로, DSOS 및 SDSOS 최적화 기반의 다수의 수렴 가능한 계층 구조가 존재한다.
• SDSOS 계층 구조에서 2차원형 제약 조건의 수는 지수적으로 증가하는 것이 아니라 계층 순서에 대해 다항식적으로 증가한다. 비판에서 주장한 바와 다릅니다.
• (S)DSOS 프레임워크는 SOS 프로그래밍과 동일한 행렬 크기를 유지하지만, 고비용의 SDP 제약 조건을 저비용의 SOCP 제약 조건으로 대체함으로써 뚜렷한 계산 속도 향상을 가능하게 한다.
• 실제 적용 사례, 예를 들어 30차원 히ュ먼로이드 로봇 제어 문제에서는 SOS 프로그래밍이 계산적으로 불가능한 반면, (S)DSOS 프로그래밍을 통해 해결 가능함을 입증하였다.
• (S)DSOS의 보수성은 작고, 원본 논문의 제5장에서 제시한 반복 개선 기법을 통해 완화될 수 있다.