[논문 리뷰] An Experimental Comparison of SONC and SOS Certificates for Unconstrained Optimization

Henning Seidler, Timo de Wolff|arXiv (Cornell University)|2018. 08. 25.

Advanced Optimization Algorithms Research참고 문헌 11인용 수 18

한 줄 요약

이 논문은 기하학적 프로그래밍을 활용하여 비제약 다항식 최적화의 하한을 계산하기 위한 다항식 시간 알고리즘을 제안한다. 이 알고리즘은 비음수 회로 다항식의 합(SONC)을 사용한다. 대규모 실험을 통해 SONC/GP는 SOS/SDP에 비해 속도, 메모리 효율성, 확장성 면에서 뛰어나며, 98.9%의 경우에서 하한을 도출하는 데 성공했고, SOS는 31.4%에 그친다. 특히 SOS가 메모리 또는 수치적 문제로 실패하는 대규모 희박한 인스턴스에서 SONC는 뛰어난 성능을 보인다.

ABSTRACT

Finding the minimum of a multivariate real polynomial is a well-known hard problem with various applications. We present a polynomial time algorithm to approximate such lower bounds via sums of nonnegative circuit polynomials (SONC). As a main result, we carry out the first large-scale comparison of SONC, using this algorithm and different geometric programming (GP) solvers, with the classical sums of squares (SOS) approach, using several of the most common semidefinite programming (SDP) solvers. SONC yields bounds competitive to SOS in several cases, but using significantly less time and memory. In particular, SONC/GP can handle much larger problem instances than SOS/SDP.

연구 동기 및 목표

• 대규모 또는 희박한 다항식에서 정수계획법(SDP)의 높은 계산 비용과 메모리 요구량으로 인한 합의 제곱(SOS)의 한계를 해결하기 위해.
• 임의의 뉴턴 다면체를 가진 다항식에 대해 SONC 증명을 체계적이고 자동으로 계산할 수 있는 알고리즘을 개발하여 수동 간섭이 필요 없도록 하기 위해.
• 다양한 다항식 인스턴스에 걸쳐 SONC(GP 기반)와 SOS(SDP 기반) 간의 종합적이고 대규모 실험적 비교를 수행하기 위해.
• 대규모 최적화 문제에서 런타임, 메모리 사용량, 성공률 측면에서 SONC의 성능, 확장성, 강건성에 대해 SOS와 비교 평가하기 위해.
• 특히 고차원 및 희박한 인스턴스에서 SONC를 비제약 다항식 최적화의 실용적이고 효율적인 대안으로 정립하기 위해.

제안 방법

• 다항식의 뉴턴 다면체를 커버함으로써 다중 선형 최적화 문제를 풀어 SONC 증명을 계산하는 새로운 알고리즘(알고리즘 3.4)을 제안한다.
• 기하학적 프로그래밍에서 계수의 변수 분할을 활용해 SONC 분해를 생성하며, 두 가지 전략을 사용한다: 균일 분할 및 변수 분할.
• POEM 소프트웨어 프레임워크에 알고리즘을 구현하여 임의의 희박한 다항식에 대해 인간의 입력 없이도 종단 간 자동화를 가능하게 한다.
• SONC 계산을 위한 주요 기하학적 프로그래밍 솔버로 ECOS를 사용하고, SOS 증명를 위한 여러 표준 SDP 솔버와 비교한다.
• 변수 수(2–40), 차수(6–60), 항 수(6–500)가 다양한 16,921개의 인스턴스로 구성된 포괄적인 테스트 데이터베이스를 구축한다. 이 중 501개는 자명한 단항식 제곱 케이스이다.
• 16GB RAM 기준으로 SDP 솔버의 실용적 한계로 1000×1000 행렬 크기를 기준으로 설정하여, 메모리 제약으로 인해 SOS가 실패하는 케이스를 분류한다.

실험 결과

연구 질문

• RQ1 희박한 다항식에 대해 임의의 뉴턴 다면체를 가진 다항식에 대해 체계적이고 자동화된 알고리즘이 다항식 시간 내에 SONC 증명을 계산할 수 있는가?
• RQ2 다양하고 대규모인 다항식 최적화 인스턴스 집합에서 런타임, 메모리 사용량, 성공률 측면에서 SONC/GP와 SOS/SDP의 성능을 어떻게 비교할 수 있는가?
• RQ3 몇 건의 경우에서 SOS가 메모리 또는 수치적 문제로 실패할 동안 SONC는 성공했고, 그 반대의 경우는 얼마나 되는가?
• RQ4 양쪽 방법 모두 계산 가능한 경우, SONC와 SOS의 하한 품질은 어떻게 비교되며, 최적성 갭 측면에서 어떤가?
• RQ5 계수 분할 전략 선택(균일 대비 변수)이 SONC 하한의 품질과 속도에 어떤 영향을 미치는가?

주요 결과

• SONC/GP는 비자명한 테스트 케이스 16,420개 중 16,240개(98.9%)에서 유효한 하한을 계산했고, SOS/SDP는 5,161개(31.4%)에 그쳤다.
• 11,760건(71.6%)의 경우에서 SOS는 메모리 제약 또는 수치적 문제로 실패했지만 SONC는 성공했으며, 이는 SONC의 뛰어난 확장성과 강건성을 보여준다.
• 양측 모두 성공한 경우, SOS는 3,693건(82.5%)에서 SONC보다 더 좋은 하한을 도출했지만, 이 중 782건은 뉴턴 다면체가 스케일된 표준 단체인 경우로서, 이 경우 SOS는 이론적으로 최소한 동일한 성능을 보장한다.
• 하한의 차이가 1을 초과하는 1,625건의 경우에서 SONC는 때로 SOS보다 더 좋은 하한을 도출했으며, 이는 특정 인스턴스에서의 비자명한 이점임을 시사한다.
• 양측 모두 하한을 도출한 경우, 99.5% 이상의 경우에서 SONC가 SOS보다 빠르며, 최대 인스턴스(40개 변수, 500개 항)에서도 일반적으로 5분 이내로 실행되었다.
• SONC는 SOS에 비해 훨씬 적은 메모리를 사용했다. SOS는 16GB RAM 기준으로 약 1000×1000 행렬 이하로 제한되었지만, SONC는 40개 변수, 500개 항을 가진 인스턴스도 효율적으로 처리했다.