[논문 리뷰] A hierarchy of spectral relaxations for polynomial optimization

Ngoc Hoang Anh Mai, Victor Magron외 1명|arXiv (Cornell University)|2020. 07. 17.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 다항 최적화 문제를 구면 위에 재구성하여, 반정형순서의 상수 추적성 성질(CTP)을 이용할 수 있도록 계층적 스펙트럼 이완법을 제안한다. 내부점 방법 대신 특수한 스펙트럼 방법을 사용하여 행렬 펜슬의 최대 고유값을 최소화함으로써, 중간 규모 문제에 대해 전역 최적해로 수렴하면서도 계산 효율성이 향상된다.

ABSTRACT

We show that (i) any constrained polynomial optimization problem (POP) has an equivalent formulation on a variety contained in an Euclidean sphere and (ii) the resulting semidefinite relaxations in the moment-SOS hierarchy have the constant trace property (CTP) for the involved matrices. We then exploit the CTP to avoid solving the semidefinite relaxations via interior-point methods and rather use ad-hoc spectral methods that minimize the largest eigenvalue of a matrix pencil. Convergence to the optimal value of the semidefinite relaxation is guaranteed. As a result we obtain a hierarchy of nonsmooth "spectral relaxations" of the initial POP. Efficiency and robustness of this spectral hierarchy is tested against several equality constrained POPs on a sphere as well as on a sample of randomly generated quadratically constrained quadratic problems (QCQPs).

연구 동기 및 목표

• 내부점 방법을 사용한 순간-SOS 계층에서 반정형순서 이완법을 풀이하는 데 높은 계산 비용을 해결하기 위해.
• 다항 최적화 문제(POPs)에서 유래하는 반정형순서 이완법에 상수 추적성 성질(CTP)을 활용하기 위해.
• 내부점 방법의 대안으로, 행렬 펜슬의 최대 고유값을 최소화하는 스펙트럼 방법을 사용하여 확장 가능한 방법을 개발하기 위해.
• 구면 및 구 위의 제약 다항 최적화 문제에서 전역 최적해로 수렴하면서도 계산 부담을 줄이기 위해.
• 등식 제약이 있는 POPs와 무작위로 생성된 QCQPs에 대해 제안된 스펙트럼 계층의 효율성과 강건성을 시험하기 위해.

제안 방법

• 기본 컴acts 세미대수집합 위의 임의의 제약 다항 최적화 문제를 유클리드 구 안에 포함된 다양체 위의 등가 문제로 재구성하기.
• 유도된 순간-SOS 이완법이 상수 추적성 성질(CTP)을 상속함을 보이며, 고유값 기반의 해법 기법을 가능하게 함.
• 표준 내부점 방법 대신 대칭 행렬 펜슬의 최대 고유값을 최소화하는 특수한 스펙트럼 방법을 적용하기.
• CTP 기반 SDP의 이중 형식을 사용하여 문제를 최대 고유값 최소화 문제로 축소함으로써, 1차 방법 또는 번들 방법에 적합하게 만들기.
• 한정된 메모리 번들 방법(LMBM)을 사용하여 전역 수렴 보장을 갖는 비연속이고 비볼록인 고유값 최소화 문제를 해결하기.
• 순간 이완법을 추적 제약 조건을 갖는 표준 SDP 형태로 변환하여 효율적 구현과 수치 시험을 가능하게 하기.

실험 결과

연구 질문

• RQ1 제약 다항 최적화 문제는 등가적으로 유클리드 구 위의 다양체 위로 재구성될 수 있는가? 이 경우 반정형순서 이완법에서 상수 추적성 성질(CTP)이 유도되는가?
• RQ2 상수 추적성 성질(CTP)을 활용하면 수렴성을 유지하면서도 반정형순서 이완법의 해법 속도와 확장성을 향상시킬 수 있는가?
• RQ3 최대 고유값 최소화 기반의 스펙트럼 방법은 중간 규모의 다항 최적화 문제에서 내부점 방법보다 계산 효율성이 뛰어나다고 할 수 있는가?
• RQ4 등식 제약이 있는 QCQPs와 단위 구 및 구 위의 무작위로 생성된 4차 문제에 대해 제안된 스펙트럼 계층은 얼마나 강건하고 효율적인가?
• RQ5 CTP는 순간 행렬의 구조와 유도된 이완법의 수치적 조건에 어떤 영향을 미치는가?

주요 결과

• 임의의 제약 다항 최적화 문제는 유클리드 구 안에 포함된 다양체 위로 등가적으로 재구성될 수 있으며, 이 경우 전역 최적해가 유지된다.
• 재구성된 문제에 대해 유도된 순간-SOS 이완법은 상수 추적성 성질(CTP)을 갖으며, 이는 고유값 기반의 해법 기법을 가능하게 한다.
• 제안된 스펙트럼 계층은 원래 POP의 전역 최적해로 수렴하며, 이는 순간-SOS 계층의 성질에 의해 보장된다.
• 수치 실험 결과, 단위 구 위의 등식 제약이 있는 QCQPs에서 스펙트럼 방법이 내부점 솔버보다 계산 시간과 확장성 면에서 뛰어나게 성능을 발휘한다.
• 단위 구 위의 무작위로 생성된 밀집 QCQPs에 대해 스펙트럼 접근법은 메모리 사용량을 줄이고 수렴 속도를 높여 표준 SDP 솔버에 비해 강건한 성능을 보인다.
• 일반적인 경우에서 유한 수렴을 달성하며, 이는 알려진 순간-SOS 계층의 유한 수렴성과 일치하지만, 내부점 방법의 높은 비용을 피한다.