[논문 리뷰] Optimization over Nonnegative and Convex Polynomials With and Without Semidefinite Programming

Georgina Hall|arXiv (Cornell University)|2018. 06. 19.

Advanced Optimization Algorithms Research참고 문헌 136인용 수 22

한 줄 요약

이 논문은 비음수 다항식 및 볼록 다항식 최적화를 위한 새로운 SDP-무료 방법을 제안하며, 정수형 프로그래밍을 선형 또는 2차 원형 프로그램 시퀀스로 대체한다. 다항식 곱셈과 계수의 음수 여부 검사만을 사용하여 다항식 최적화 문제에 대한 수렴하는 하한을 제공하는 최초의 이론적 프레임워크를 도입함으로써, 이론적 수렴을 유지하면서도 상당한 계산 속도 향상을 달성한다.

ABSTRACT

The problem of optimizing over the cone of nonnegative polynomials is a fundamental problem in computational mathematics, with applications to polynomial optimization, control, machine learning, game theory, and combinatorics, among others. A number of breakthrough papers in the early 2000s showed that this problem, long thought to be out of reach, could be tackled by using sum of squares programming. This technique however has proved to be expensive for large-scale problems, as it involves solving large semidefinite programs (SDPs). In the first part of this thesis, we present two methods for approximately solving large-scale sum of squares programs that dispense altogether with semidefinite programming and only involve solving a sequence of linear or second order cone programs generated in an adaptive fashion. We then focus on the problem of finding tight lower bounds on polynomial optimization problems (POPs), a fundamental task in this area that is most commonly handled through the use of SDP-based sum of squares hierarchies (e.g., due to Lasserre and Parrilo). In contrast to previous approaches, we provide the first theoretical framework for constructing converging hierarchies of lower bounds on POPs whose computation simply requires the ability to multiply certain fixed polynomials together and to check nonnegativity of the coefficients of their product. In the second part of this thesis, we focus on the theory and applications of the problem of optimizing over convex polynomials, a subcase of the problem of optimizing over nonnegative polynomials. (See manuscript for the rest of the abstract.)

연구 동기 및 목표

• 대규모 다항식 문제에 대한 합의 제곱 최적화에서 정수형 프로그래밍(SDP)의 계산 병목 현상을 해결하기 위해.
• 정수형 프로그래밍(SDP)에 의존하지 않고 다항식 최적화 문제에 대한 수렴하는 하한 계층을 구축하기 위한 프레임워크를 개발하기 위해.
• 상자 위에서 삼차 다항식의 볼록성 테스트의 복잡도를 연구하고 최적화에 대한 영향을 분석하기 위해.
• 로봇공학, 머신러닝, 경제학에서 단조성 및 볼록성 제약 조건이 있는 실제 문제들에 제안된 방법을 적용하기 위해.

제안 방법

• 대규모 SDP를 선형 또는 2차 원형 프로그램의 시퀀스로 대체하는 두 가지 적응형, SDP-무료 알고리즘을 제안한다.
• 다항식 곱셈과 계수의 음수 여부 검사만을 사용하여 다항식 최적화를 위한 새로운 하한 계층을 개발한다.
• 고정된 다항식 곱과 계수의 부호 분석에 기반한 수렴하는 하한을 구성하는 이론적 프레임워크를 도입한다.
• 상자 위에서 삼차 다항식의 볼록성 테스트가 NP-난이도임을 증명하여 볼록성 탐지에 대한 복잡도 경계를 설정한다.
• SDP 계층을 구성하기 위해 Reznick의 합의 제곱 표현을 양의 정부호 이형식으로 확장하여 볼록 형식에 의해 생성된 노름에 대해 적용한다.
• 프레임워크를 로봇공학(3D 점군을 위한 최소 체적 다항식 하위레벨 집합), 머신러닝(단조성 및 DC 회귀)에 적용한다.

실험 결과

연구 질문

• RQ1 정수형 프로그래밍을 해결하지 않고도 다항식 최적화 문제에 대해 수렴하는 하한을 구성할 수 있는가?
• RQ2 상자 위에서 삼차 다항식의 볼록성 테스트의 계산 복잡도는 얼마인가?
• RQ3 수렴성과 정확성을 유지하면서도 합의 제곱 프로그래밍을 더 단순한 비-SDP 솔버로 대체할 수 있는가?
• RQ4 어떻게 효율적으로 볼록 다항식과 볼록 형식에 의해 생성된 노름을 최적화할 수 있는가?
• RQ5 제안된 방법은 단조성 회귀 및 운동 계획과 같은 실제 문제에 실질적으로 적용될 수 있는가?

주요 결과

• 제안된 SDP-무료 알고리즘이 CAP 및 Fast CAP보다 뛰어난 런타임 성능을 보이며, degree-2 하이브리드 회귀는 단 0.24초로 CAP의 12.8초보다 빠르게 처리된다.
• 최고의 성능을 보인 단조성 제약 다항식 회귀는 개인 대출 데이터셋에서 평균 테스트 RMSE 4.09(표준 오차 0.20)을 달성했다.
• 주간 임금 예측에서 하이브리드 제약 degree-2 다항식은 테스트 RMSE 250.0 ± 39.2를 기록했으며, CAP(385.7 ± 20.8)보다 뚜렷이 뛰어나다.
• 상자 위에서 삼차 다항식의 볼록성 테스트가 NP-난이도임을 증명하여 이 복잡도의 최소 차수 경계를 설정했다.
• 프레임워크는 정수형 프로그래밍을 완전히 회피하면서도 다항식 곱셈과 계수의 음수 여부 검사만으로도 수렴하는 하한을 구성할 수 있도록 허용한다.
• 이 방법은 차등 볼록(DC) 프로그래밍을 성공적으로 재구성하여 머신러닝 분야에서 가장 잘 알려진 알고리즘 중 일부를 더 빠르게 해결할 수 있게 했다.