[논문 리뷰] Near-optimal analysis of univariate moment bounds for polynomial optimization

Monique Laurent, Lucas Slot|arXiv (Cornell University)|2020. 01. 30.

Advanced Optimization Algorithms Research참고 문헌 5인용 수 5

한 줄 요약

이 논문은 다항식 최적화를 위한 단변수 모멘트 기반 계층 구조를 분석하여, 타당 영역 $ K $ 가 일정한 기하 조건(예: 볼록성)을 만족할 경우 전역 최소값으로 수렴하는 속도가 $ O(\log^2 r / r^2) $ 임을 보여준다. 분석은 거의 최적적이며, $ [-1,1] $ 에서의 다항식에 대해 $ \Omega(1/r^2) $ 의 하한값이 확립되어 있어, 직교 다항식과의 연결 고리를 활용한다.

ABSTRACT

We consider a recent hierarchy of upper approximations proposed by Lasserre (arXiv:1907.097784, 2019) for the minimization of a polynomial $f$ over a compact set $K \subseteq \mathbb{R}^n$. This hierarchy relies on using the push-forward measure of the Lebesgue measure on $K$ by the polynomial $f$ and involves univariate sums of squares of polynomials with growing degrees $2r$. Hence it is weaker, but cheaper to compute, than an earlier hierarchy by Lasserre (SIAM Journal on Optimization 21(3), 864--885, 2011), which uses multivariate sums of squares. We show that this new hierarchy converges to the global minimum of $f$ at a rate in $O(\log^2 r / r^2)$ whenever $K$ satisfies a mild geometric condition, which holds, e.g., for convex bodies. As an application this rate of convergence also applies to the stronger hierarchy based on multivariate sums of squares, which extends earlier convergence results to a wider class of compact sets. Furthermore, we show that our analysis is near-optimal by proving a lower bound on the convergence rate in $\Omega(1/r^2)$ for a class of polynomials on $K=[-1,1]$, obtained by exploiting a connection to orthogonal polynomials.

연구 동기 및 목표

• 단변수 모멘트 기반 계층 구조의 수렴 속도를 분석하는 것. 이 계층 구조는 이식 측도와 단변수 제곱합을 사용한다.
• 타당 영역 $ K $ 가 볼록체와 같은 온건한 기하 조건을 만족할 경우 이 계층 구조가 $ O(\log^2 r / r^2) $ 의 속도로 수렴함을 입증하는 것.
• 단변수 분석을 활용하여 더 강력한 다변수 SOS 계층 구조로 수렴 속도 결과를 확장하는 것.
• 특정 다항식 클래스에 대해 $ [-1,1] $ 에서 상한값과 일치하는 $ \Omega(1/r^2) $ 의 하한값을 증명함으로써 상한값의 날카러움을 보여주는 것.

제안 방법

• Lebesgue 측도를 다항식 $ f $ 에 대해 이식한 측도의 분석에 기반하여 문제를 단변수 모멘트 문제로 환원한다.
• 증가하는 차수 $ 2r $ 를 가진 단변수 다항식의 제곱합을 사용하며, 이는 다변수 SOS 완화보다 계산 비용이 낮다.
• 수렴 분석은 근사 이론과 직교 다항식의 도구를 활용하며, 특히 레지오드레 및 체비셰프 다항식의 극값 성질을 활용한다.
• 핵심 기술적 단계로는 직교 전개의 계수 감쇠 성질을 이용해 모멘트 기반 근사의 오차를 제한하는 것이다.
• 하한값은 $ [-1,1] $ 에서 특정 다항식의 가족을 구성함으로써 유도되며, 이는 직교 다항식의 알려진 渐近적 성질을 활용한다.
• 수렴 속도는 이식 측도의 정규성과 $ K $ 의 기하학적 성질, 특히 민코프스키 함수수 또는 곡률 조건을 통해 연결된다.

실험 결과

연구 질문

• RQ1 타당 영역 $ K $ 가 온건한 기하 조건을 만족할 경우, 다항식 최적화를 위한 단변수 모멘트 기반 계층 구조의 수렴 속도는 무엇인가?
• RQ2 이 단변수 계층의 수렴 속도가 거의 최적임을 보일 수 있는가? 즉, 일치하는 하한값이 존재하는가?
• RQ3 이 단변수 계층의 수렴 속도 결과는 더 강력한 다변수 SOS 계층으로 확장될 수 있는가?
• RQ4 직교 다항식은 이 맥락에서 모멘트 기반 근사의 수렴 행동에 어떤 영향을 미치는가?
• RQ5 수렴 속도는 차수 $ r $ 에 대해 어떻게 의존하는가? 그리고 $ O(\log^2 r / r^2) $ 가 가능한 최선의 속도인가?

주요 결과

• 타당 영역 $ K $ 가 볼록성과 같은 온건한 기하 조건을 만족할 경우, 단변수 모멘트 기반 계층 구조는 전역 최소값으로 $ O(\log^2 r / r^2) $ 의 속도로 수렴한다.
• 이 수렴 속도는 거의 최적임이 입증되었으며, $ [-1,1] $ 에서의 다항식 클래스에 대해 $ \Omega(1/r^2) $ 의 일치하는 하한값이 확립되었다.
• 분석 결과, 더 강력한 다변수 SOS 계층 구조 역시 동일한 종류의 타당 영역에 대해 $ O(\log^2 r / r^2) $ 의 속도로 수렴함을 암시한다.
• 하한값은 특히 $ L^1 $-노름에서의 직교 다항식의 극값 행동을 활용하여 도출되었다.
• 결과적으로, 이론적으로는 약한 접근이지만, 넓은 범위의 다항식 최적화 문제에서 실질적으로 거의 최적의 수렴 속도를 달성함을 보여준다.
• 직교 다항식과의 연결 고리는 모멘트 기반 다항식 최적화의 수렴을 이해하는 데 새로운 분석 도구를 제공한다.