[논문 리뷰] Chordal-TSSOS: a moment-SOS hierarchy that exploits term sparsity with chordal extension

Jie Wang, Victor Magron외 1명|arXiv (Cornell University)|2020. 03. 04.

Advanced Optimization Algorithms Research참고 문헌 54인용 수 12

한 줄 요약

이 논문은 다항식 최적화 문제(POL)에서 항의 희소성(term sparsity)을 이용하기 위해 term-sparsity pattern(tsp) 그래프에 대해 반복적으로 support-extension과 차수 확장(chordal extension)을 적용하는 이중 수준의 모멘트-SOS 계층 구조인 Chordal-TSSOS를 소개한다. 유도된 인접 그래프를 최소 차수 확장(minimal chordal extensions)을 통해 준 블록 대각형(semidefinite) 프로그램으로 변환함으로써, 특히 상관 희소성(correlative sparsity)이 실패할 경우 대규모 다항식 최적화 문제에 대해 상당한 계산적 절감을 달성한다. 그러나 이전 방법들과 비교해 이론적 수렴 보장이 부족하다.

ABSTRACT

This work is a follow-up and a complement to arXiv:1912.08899 [math.OC] for solving polynomial optimization problems (POPs). The chordal-TSSOS hierarchy that we propose is a new sparse moment-SOS framework based on term-sparsity and chordal extension. By exploiting term-sparsity of the input polynomials we obtain a two-level hierarchy of semidefinite programming relaxations. The novelty and distinguishing feature of such relaxations is to obtain quasi block-diagonal matrices obtained in an iterative procedure that performs chordal extension of certain adjacency graphs. The graphs are related to the terms arising in the original data and not to the links between variables. Various numerical examples demonstrate the efficiency and the scalability of this new hierarchy for both unconstrained and constrained POPs. The two hierarchies are complementary. While the former TSSOS arXiv:1912.08899 [math.OC] has a theoretical convergence guarantee, the chordal-TSSOS has superior performance but lacks this theoretical guarantee.

연구 동기 및 목표

• 대규모 다항식 최적화 문제(POL)에 대한 표준 모멘트-SOS 계층 구조의 확장성 한계를 해결하기 위해.
• 변수 기반 상관 희소성(correlative sparsity)에만 의존하는 것이 아니라, 다항식이 단지 단항식의 부분집합만 포함하는 항의 희소성(term sparsity)을 활용하기 위해.
• 반복적인 차수 확장을 통해 term-sparsity 그래프를 변형함으로써 준 블록 대각형(semidefinite) 프로그램을 생성함으로써 계산 비용을 줄이는 이중 수준의 모멘트-SOS 계층 구조를 개발하기 위해.
• 상관 희소성이 실패하는 다항식 최적화 문제, 예를 들어 모든 변수를 포함하는 조밀한 항이나 큰 클리크를 가진 경우에도 성능을 향상시키기 위해.

제안 방법

• 노드가 단항식을 나타내고, 간선이 SOS 표현에서 함께 나타나는 항의 공존을 나타내는 term-sparsity pattern(tsp) 그래프를 구성한다.
• 반복적인 이중 단계 절차를 적용한다: (1) SOS 분해에서 새로운 단항식을 포함하기 위한 support-extension, 그리고 (2) 그래프를 최소 클리크를 가진 차수 구조로 변형하기 위한 chordal extension.
• 최대 클리크의 크기를 줄이기 위해 약간 최소화된 차수 확장(approximately minimal chordal extension)을 통해 차수 확장을 수행한다.
• 유도된 희소성 구조는 준 블록 대각형(semidefinite) 프로그램의 형성 가능하게 하여, 완화 문제를 해결하는 데 드는 계산 부담을 크게 감소시킨다.
• 이 방법은 이중 수준의 모멘트-SOS 계층 구조에 통합되며, 모멘트 행렬과 국소화 행렬이 차수 구조에 따라 분해된다.
• 이 방법은 원래 TSSOS 계층 구조와 상호보완적으로 설계되어 있으며, 이론적 수렴성을 포기하고 대신 대규모 희소 POPs에서 뛰어난 성능을 내기 위해 설계되었다.

실험 결과

연구 질문

• RQ1 상관 희소성보다 다항식 최적화에서 항의 희소성을 더 효과적으로 활용하면 SDP 완화 크기를 줄일 수 있는가?
• RQ2 TSSOS 프레임워크에서 블록 닫힘(block-closure)을 차수 확장으로 대체할 경우, 유도된 모멘트-SOS 계층의 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 TSSOS에서 최대 차수 확장 또는 블록 닫힘과 비교해 약간 최소화된 차수 확장을 사용할 경우 계산 효율성이 얼마나 향상되는가?
• RQ4 상관 희소성이 실패하는 다항식 최적화 문제, 예를 들어 조밀한 항이나 큰 변수 클리크를 포함하는 문제에서 Chordal-TSSOS가 상당한 속도 향상을 달성할 수 있는가?
• RQ5 원래 TSSOS 및 모멘트-SOS 계층 구조와 비교해 Chordal-TSSOS는 계산 효율성과 이론적 수렴성 사이에 어떤 상충 관계를 가지는가?

주요 결과

• Chordal-TSSOS는 term-sparsity 그래프에 대한 반복적인 차수 확장을 통해 SDP 완화에서 최대 클리크 크기를 줄임으로써, 비제약 및 제약 다항식 최적화 문제에서 상당한 계산 속도 향상을 달성한다.
• n=100인 Broyden tridiagonal 문제에서, Chordal-TSSOS는 TSSOS의 299초에서 2번째 수준에서 864초로 해결 시간을 증가시켰지만, 클리크 크기가 훨씬 작아져 더 큰 문제에 대해 더 나은 확장성을 보였다.
• 상관 희소성이 실패하는 조밀한 항(예: ||x||²)을 포함한 문제에서 Chordal-TSSOS는 TSSOS를 능가한다. n=100일 때 TSSOS는 완료되지 못했지만 Chordal-TSSOS는 성공적으로 수행되었다.
• 모멘트 행렬의 최대 클리크 크기는 TSSOS의 (103,5)에서 Chordal-TSSOS의 (103,7)로 감소하여, 과도하게 클리크 크기를 증가시키지 않으면서도 더 나은 희소성 구조를 확보했다.
• Broyden tridiagonal 문제에서 Chordal-TSSOS는 TSSOS와 동일한 최적값(예: n=100일 때 94.98)을 달성하여, 히وري스틱한 차수 확장에도 불구하고 해의 정확성을 유지함을 확인했다.
• 이 방법은 효과적으로 확장 가능하다: n=120일 때 모멘트 행렬의 클리크 크기는 (123,4)였고, 2번째 수준의 시간은 864초였으며, 더 큰 문제에 대해서도 실행 가능함을 보였다.