[논문 리뷰] Counterexample to global convergence of DSOS and SDSOS hierarchies

Cédric Josz|arXiv (Cornell University)|2017. 07. 10.

Advanced Optimization Algorithms Research참고 문헌 5인용 수 4

한 줄 요약

이 논문은 다항식 최적화에서 DSOS 및 SDSOS 계층 구조의 전역 수렴성에 대한 반례를 제시한다. 선형 및 제2차원 원판 프로그래밍 기반 방법인 DSOS와 SDSOS가 전역 최소값으로 수렴하지 못할 수 있음을 보여주며, 이는 문헌에서 제기된 전역 수렴성과 SOS 최적화의 대안으로서의 타당성에 대한 주장과 모순된다. 저자들은 유연성 증가에도 불구하고 이러한 계층 구조가 진정으로 전역 최소값에 수렴하지 못할 수 있음을 입증한다.

ABSTRACT

We exhibit a convex polynomial optimization problem for which the diagonally-dominant sum-of-squares (DSOS) and the scaled diagonally-dominant sum-of-squares (SDSOS) hierarchies, based on linear programming and second-order conic programming respectively, do not converge to the global infimum. The same goes for the r-DSOS and r-SDSOS hierarchies. This refutes the claim in the literature according to which the DSOS and SDSOS hierarchies can solve any polynomial optimization problem to arbitrary accuracy. In contrast, the Lasserre hierarchy based on semidefinite programming yields the global infimum and the global minimizer with the first order relaxation. We further observe that the dual to the SDSOS hierarchy is the moment hierarchy where every positive semidefinite constraint is relaxed to all necessary second-order conic constraints. As a result, the number of second-order conic constraints grows quadratically in function of the size of the positive semidefinite constraints in the Lasserre hierarchy. Together with the counterexample, this suggests that DSOS and SDSOS are not necessarily more tractable alternatives to sum-of-squares.

연구 동기 및 목표

• 다항식 최적화 문제의 최적 해로의 전역 수렴성을 보장한다는 널리 퍼진 믿음을 도전하기 위해.
• DSOS 및 SDSOS 계층 구조가 전역 최소값으로 수렴하지 못하는 구체적인 볼록 다항식 최적화 문제를 제공하기 위해.
• SDSOS 계층 구조와 모멘트 계층 구조 간의 관계, 특히 제약 조건의 유연성 증가 측면에서 명확히 하기 위해.
• DSOS 및 SDSOS가 선형대칭정수계획법 기반의 합의 제곱 최적화 방법보다 본질적으로 더 타당하다는 가정을 의심하기 위해.

제안 방법

• 유일한 전역 최소값과 컴act한 타당 영역을 가진 특정 볼록 다항식 최적화 문제를 구성하기 위해.
• Lasserre 계층 구조에서 정규화된 제약 조건을 선형 및 제2차원 원판 제약 조건으로 대체하는 DSOS 및 SDSOS 계층 구조를 적용하기 위해.
• Putinar의 Positivstellensatz를 사용하여 동일한 문제에 대해 Lasserre 계층 구조의 전역 수렴성을 확립하기 위해.
• SDSOS 계층 구조의 이중 문제를 분석하여, 모든 정규화된 제약 조건이 필요한 제2차원 원판 제약 조건으로 유연화됨을 보여주기 위해.
• 원래의 정규화된 제약 조건 크기와 비례해 제2차원 원판 제약 조건의 수가 제곱적으로 증가함을 입증하기 위해.
• 모순을 통해 목적 함수의 스케일링된 형태에 대해 SDSOS 표현이 존재하지 않음을 증명함으로써 SDSOS 계층 구조의 수렴 실패를 입증하기 위해.

실험 결과

연구 질문

• RQ1 DSOS 계층 구조는 모든 볼록 다항식 최적화 문제의 최적 해로 전역 수렴하는가?
• RQ2 유연성 증가에도 불구하고 SDSOS 계층 구조는 증가하는 유연성 순서에도 불구하고 전역 최소값으로 수렴하지 못할 수 있는가?
• RQ3 수렴 성질 측면에서 SDSOS 계층 구조는 Lasserre 계층 구조보다 엄격히 약한가?
• RQ4 전역 수렴에 실패할 수 있음에도 불구하고 DSOS 및 SDSOS 계층 구조는 합의 제곱 최적화보다 진정으로 더 타당한가?
• RQ5 SDSOS 계층 구조의 이중 문제와 모멘트 계층 구조 간의 정확한 관계는 무엇인가?

주요 결과

• DSOS 및 SDSOS 계층 구조가 증가하는 유연성 순서에도 불구하고 전역 최소값으로 수렴하지 않는 볼록 다항식 최적화 문제를 구성하였다.
• 정규화된 제약 조건 기반의 Lasserre 계층 구조는 전역 수렴하며 첫 번째 유연성 순서에서 전역 최소값을 식별한다.
• SDSOS 계층 구조의 이중 문제는 모든 정규화된 제약 조건을 필요한 제2차원 원판 제약 조건으로 유연화하는 것으로 나타나, 제약 조건의 수가 제곱적으로 증가한다.
• 제약 조건 하에서 목적 함수의 스케일링된 형태를 합의 제곱으로 표현할 수 없음을 입증함으로써 SDSOS 계층 구조의 수렴 실패를 증명하였다.
• r-DSOS 및 r-SDSOS 계층 구조 역시 동일한 반례에서 전역 수렴에 실패한다.
• DSOS 및 SDSOS 계층 구조가 어떤 다항식 최적화 문제라도 임의의 정밀도로 해결할 수 있다는 문헌의 주장은 반박되었다.