[논문 리뷰] Engineering and Business Applications of Sum of Squares Polynomials

Georgina Hall|arXiv (Cornell University)|2019. 06. 19.

Advanced Optimization Algorithms Research참고 문헌 65인용 수 4

한 줄 요약

이 논문은 공 ing, 금융, 계산 과학 분야에서의 다항식 최적화 기법과 그 응용을 종합적으로 조망한다. SOS 다항식 최적화 기법이 비볼록 다항식 최적화 문제를 대체로 해결 가능한 정수형 프로그래밍 문제로 변환하는 방식을 보여주며, 제어 이론, 금융, 머신러닝, 게임 이론 분야의 문제 해결을 가능하게 한다.

ABSTRACT

Optimizing over the cone of nonnegative polynomials, and its dual counterpart, optimizing over the space of moments that admit a representing measure, are fundamental problems that appear in many different applications from engineering and computational mathematics to business. In this paper, we review a number of these applications. These include, but are not limited to, problems in control (e.g., formal safety verification), finance (e.g., option pricing), statistics and machine learning (e.g., shape-constrained regression and optimal design), and game theory (e.g., Nash equilibria computation in polynomial games). We then show how sum of squares techniques can be used to tackle these problems, which are hard to solve in general. We conclude by highlighting some directions that could be pursued to further disseminate sum of squares techniques within more applied fields. Among other things, we briefly address the current challenge that scalability represents for optimization problems that involve sum of squares polynomials and discuss recent trends in software development.

연구 동기 및 목표

• 합의 제곱 최적화 분야의 이론적 발전과 공 ing 및 금융 분야의 실용적 응용 간 격차를 메우기 위해.
• 이전에는 해결이 불가능하다고 여겨졌던 비볼록 다항식 최적화 문제들이 SOS 기법을 활용해 해결 가능한 정수형 프로그래밍 문제로 재구성될 수 있음을 보여주기 위해.
• 도메인 지식이 제한된 연구자들이 SOS 프로그래밍을 사용해 복잡한 문제를 모델링하고 해결할 수 있도록 접근하기 쉬운, 응용 중심의 프레임워크를 제공하기 위해.
• SOS 최적화의 확장성 문제를 다루고, 대규모 문제에 대한 성능 향상을 위해 최근 소프트웨어 및 알고리즘적 발전을 강조하기 위해.
• 다양한 분야에서 실제 적용 가능한 사례를 제시함으로써 SOS 기법의 보편적 도입을 촉진하기 위해.

제안 방법

• 비음수 다항식 제약 조건과 모멘트 조건을 비음수 다항식 또는 표현 측도의 쿨레인 위의 최적화 문제로 설정하기.
• 합의 제곱(SOS) 분해를 활용해 다항식의 음수성 조건을 정수형 프로그래밍(SDP)으로 변환하며, SOS 다항식이 음수가 되며 정수형 행렬로 표현 가능하다는 사실을 이용한다.
• 연속형 및 이산형 시간 다항식 동적 시스템에서 안정성, 안전성, 불변성을 검증하기 위해 다항식 리아푸노프 함수와 SOS 기반 증명을 적용한다.
• 비음수성과 모멘트 제약 조건이 핵심이 되는 옵션 가격 설정, 형태 제약 회귀, 최적 설계 문제에 대해 모멘트 기반 재구성 기법을 활용한다.
• 균형 조건을 다항식 타당성 문제로 재구성함으로써, SOS 기법을 활용해 다항식 게임의 나시 균형을 계산한다.
• YALMIP, SOSTOOLS, JuMP/SumofSquares.jl 등의 모델링 파서와 SCS, SDPNAL+ 등의 확장 가능한 SDP 해소기기를 활용해 SOS 문제를 해소 가능한 SDP로 자동 변환한다.
• 희소성, 대칭성 등의 구조를 활용하고, 대체적인 콘형 리 릴랙세이션을 적용해 계산 부담을 줄임으로써 확장성 문제를 해결한다.

실험 결과

연구 질문

• RQ1 해당 궤적을 명시적으로 해석하지 않고도, 합의 제곱 기법을 사용해 다항식 동적 시스템의 안정성과 안전성을 공식적으로 검증할 수 있는 방법은 무엇인가?
• RQ2 비음수 수익 함수를 모델링할 때, 금융 분야의 옵션 가격 설정 및 리스크 관리에 합의 제곱 최적화를 어떻게 적용할 수 있는가?
• RQ3 형태 제약 회귀와 최적 실험 설계 문제는 어떻게 SOS 프로그래밍을 활용해 수식화하고 해결할 수 있으며, 이를 통해 증가 또는 볼록성 제약 조건을 보장할 수 있는가?
• RQ4 합의 제곱 기법은 다항식 게임에서 균형을 계산하는 데 어떤 역할을 하는가? 기존 접근 방식과 비교해 볼 때 어떤 차이점이 있는가?
• RQ5 대규모 문제에 대해 합의 제곱 최적화를 확장할 때의 주요 과제는 무엇이며, 이를 극복하기 위해 최근에 나온 알고리즘 및 소프트웨어 발전은 무엇인가?

주요 결과

• SOS 기법을 통해 합의 제곱 다항식을 활용한 대체적인 대수적 증명을 구성함으로써, 다항식 동적 시스템에서의 안정성, 충돌 회피, 불변성의 공식적 인증이 가능해진다.
• 비음수 다항식 제약 조건을 정수형 프로그래밍 문제로 변환함으로써, 닫힌 형식의 해가 존재하지 않더라도 표준 SDP 해소기를 사용해 효율적으로 수치적 해를 구할 수 있다.
• 금융 분야의 응용에서는 옵션 가격 설정에서 비음수 수익 함수를 모델링할 수 있으며, SOS 기반 모멘트 문제를 통해 해결 가능한 근사치를 제공한다.
• 머신러닝 분야에서는 SOS 기반 형태 제약 회귀 및 최적 설계 문제를 효율적으로 해결할 수 있어, 추정된 함수의 증가성 또는 볼록성을 보장할 수 있다.
• 다항식 게임의 경우, 균형 조건을 비음수성 제약 조건이 있는 다항식 타당성 문제로 재구성함으로써 SOS 프로그래밍을 통해 나시 균형을 계산할 수 있다.
• 다만 진전이 있었음에도 불구하고, 다항식 차수와 변수 수의 증가에 따라 SDP 크기가 기하급수적으로 증가함에 따라 확장성 문제가 여전히 주요 과제로 남아 있으며, 이를 해결하기 위해 희소성, 구조적, 일阶 해소기(예: SCS, SDPNAL+) 등의 연구가 계속되고 있다.