[논문 리뷰] Regularization Methods for Sum of Squares Relaxations in Large Scale Polynomial Optimization

Jiawang Nie|arXiv (Cornell University)|2009. 09. 19.

Advanced Optimization Algorithms Research참고 문헌 34인용 수 14

한 줄 요약

이 논문은 다항식 최적화에서 대규모 합의 제곱(SOS) 및 라서레의 근사화 문제를 해결하기 위해 정규화 기반 내점법을 제안하며, 기존 방법의 확장성 한계를 극복한다. 이로 인해 기존 SOS 솔버로는 이전에 불가능했던 표준 하드웨어에서 100개 변수를 가진 밀도 있는 4차 다항식 문제를 해결할 수 있게 되었다.

ABSTRACT

We study how to solve sum of squares (SOS) and Lasserre’s relaxations for large scale polynomial optimization. When interior-point type methods are used, typically only small or moderately large problems could be solved. This paper proposes the regularization type methods which would solve significantly larger problems. We first describe these methods for general conic semidefinite optimization, and then apply them to solve large scale polynomial optimization. Their efficiency is demonstrated by extensive numerical computations. In particular, a general dense quartic polynomial optimization with 100 variables would be solved on a regular computer, which is almost impossible by applying prior existing SOS solvers. Key words polynomial optimization, regularization methods, semidefinite programming, sum of squares, Lasserre’s relaxation AMS subject classification 65K05, 90C22 1

연구 동기 및 목표

• 기존 내점법의 확장성 한계를 해결하여 대규모 다항식 최적화에서 합의 제곱(SOS) 근사화 문제를 해결하는 데 목표를 두며.
• 이전 SOS 솔버가 작은 또는 중간 크기 문제에만 제한되던 계산 장벽을 극복한다.
• 일반적인 콘형 정수계획법에 적용 가능한 정규화 기법을 개발하여 확장성을 향상시킨다.
• 밀도 있는 4차 사례를 포함한 대규모 다항식 최적화 문제에서 이러한 방법의 효과성을 입증한다.
• 기존에 해결이 불가능했던 대규모 다항식 최적화 문제를 표준 컴퓨팅 자원을 사용하여 실용적으로 해결할 수 있도록 한다.

제안 방법

• 일반적인 콘형 정수계획법에 대해 개발된 정규화 기법을 SOS 및 라서레의 근사화의 특정 구조에 적응시킨다.
• 대규모 설정에서 수렴성과 수치적 안정성을 향상시키기 위해 정규화된 바리에이션 방법을 도입한다.
• 나쁜 조건이거나 대규모 헤시안 행렬을 다룰 수 있도록 티코노프 유형의 정규화를 사용해 중심 경로 계산을 수정한다.
• 내점 알고리즘에 정규화 접근법을 통합하여 초선형 수렴 속도를 유지하면서도 계산 비용을 감소시킨다.
• 모멘트 행렬의 낮은 랭크 구조를 활용하여 밀도 있는 다항식 최적화 문제에 방법을 적용한다.
• 내점법 반복 과정에서 발생하는 대규모 슈어 여백 행렬 시스템을 다루기 위해 효율적인 선형 시스템 해법기에 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 정규화 기법이 다항식 최적화에서 SOS 및 라서레의 근사화 솔버의 확장성에 크게 기여할 수 있는가?
• RQ2 정규화는 대규모 정수계획법에서 내점법의 수치적 조건과 수렴 행동을 어떻게 향상시키는가?
• RQ3 정규화 기반 솔버는 기존 SOS 솔버로는 해결이 불가능한 밀도 있는 고차수 다항식 문제를 어느 정도까지 처리할 수 있는가?
• RQ4 대규모 문제에서 제안된 방법은 기존 내점법 대비 계산 성능에서 어떤 향상을 보이는가?
• RQ5 이 방법은 표준 하드웨어에서 100개 변수를 가진 밀도 있는 4차 다항식 최적화 문제를 해결할 수 있는가?

주요 결과

• 제안된 정규화 방법은 이전에 존재하는 SOS 솔버로는 불가능했던 100개 변수를 가진 밀도 있는 4차 다항식 최적화 문제를 일반 컴퓨터에서 성공적으로 해결하였다.
• 기존 내점법이 메모리 및 조건 수치 문제로 인해 처리할 수 없는 대규모 합의 제곱 근사화 문제를 해결할 수 있도록 한다.
• 정규화는 KKT 시스템의 조건 수를 향상시켜 다항식 최적화에서 발생하는 대규모 정수계획법의 안정적이고 효율적인 해법을 가능하게 한다.
• 초선형 수렴 속도를 유지하면서도 대규모 문제에서 계산 부담을 크게 감소시킨다.
• 광범위한 수치 실험을 통해 다양한 대규모 다항식 최적화 사례에서 이 방법의 강건성과 효율성을 확인하였다.
• 특히 밀도 있고 고차수인 다항식 문제에서 기존 표준 SOS 솔버에 비해 문제 크기의 확장성 면에서 뛰어난 성능을 보였다.