[논문 리뷰] Shape-Constrained Regression using Sum of Squares Polynomials

Mihaela Curmei, Georgina Hall|arXiv (Cornell University)|2020. 04. 08.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 상자 위에서 볼록성 또는 단조성을 강제하는 형태 제약 다변수 다항 회귀 문제를 해결하기 위해 합의제곱(SOS) 다항식을 사용하는 정수형 프로그래밍(SDP) 계층 구조를 제안한다. 추정기의 이론적 일致성을 확립하고, SOS-볼록 및 SOS-단조 다항식이 각각 볼록 및 단조 다항식 집합에서 조밀함을 증명하며, 수치 결과는 낮은 최적성 갭과 대규모, 저차원 문제에서 뛰어난 성능을 보이며, 최적 운반 및 가치 함수 추정을 포함한다.

ABSTRACT

We present a hierarchy of semidefinite programs (SDPs) for the problem of fitting a shape-constrained (multivariate) polynomial to noisy evaluations of an unknown shape-constrained function. These shape constraints include convexity or monotonicity over a box. We show that polynomial functions that are optimal to any fixed level of our hierarchy form a consistent estimator of the underlying shape-constrained function. As a byproduct of the proof, we establish that sum-of-squares-convex polynomials are dense in the set of polynomials that are convex over an arbitrary box. A similar sum of squares type density result is established for monotone polynomials. In addition, we classify the complexity of convex and monotone polynomial regression as a function of the degree of the polynomial regressor. While our results show NP-hardness of these problems for degree three or larger, we can check numerically that our SDP-based regressors often achieve similar training error at low levels of the hierarchy. Finally, on the computational side, we present an empirical comparison of our SDP-based convex regressors with the convex least squares estimator introduced in [Hildreth, 1954] and [Holloway, 1979] and show that our regressor is valuable in settings where the number of data points is large and the dimension is relatively small. We demonstrate the performance of our regressor for the problem of computing optimal transport maps in a color transfer task and that of estimating the optimal value function of a conic program. A real-time application of the latter problem to inventory management contract negotiation is presented.

연구 동기 및 목표

• 볼두성 또는 단조성 제약 조건 하에서 확장 가능하고 일致하는 형태 제약 다항 회귀 추정기 개발.
• 정수형 프로그래밍(SDP) 계층 구조를 통한 볼두성 및 단조성 제약 조건 하에서의 다항식 집합에서의 SOS-볼두성 및 SOS-단조 다항식의 조밀성 이론적 결과 확립.
• 다항식 차수에 따라 볼두성 및 단조성 다항 회귀 문제의 계산 복잡도 규명 및 차수 ≥3일 경우 NP-난이도 증명.
• 일반화 오차 및 계산 효율성 측면에서 기존 방법(예: CLSE 및 MAE)에 비해 SOS 기반 추정기의 경험적 우월성 입증.
• 실제 응용에 적용: 생산업무 함수 추정, 색상 이동을 통한 최적 운반 지도 계산, 그리고 최적 가치 함수 추정을 통한 실시간 재고 관리 계약 협상.

제안 방법

• 차수 $d$ 및 계층 수준 $r$로 매개변수화된 정수형 프로그래밍(SDP)의 계층 구조를 설정하여, 합의제곱(SOS) 표현을 통해 형태 제약 조건을 강제한다.
• SOS 표현을 활용해 상자 위에서 볼두성 및 단조성 제약 조건을 전역적으로 표현하고, 볼두성 최적화 기반 검증 및 학습을 가능하게 한다.
• 모멘트-SOS 완화 프레임워크를 사용해 형태 제약 다항 회귀 문제의 해를 근사한다.
• 진정한 형태 제약 회귀 문제의 최적값과 SOS 완화 문제의 최적값 간의 격차를 측정하기 위해 볼두성 최적화 기반 격차 상한 방법을 도입한다.
• 세 가지 응용에 적용: 경제학적 생산 함수 피팅, 색상 이동을 통한 최적 운반 지도 계산, 원뿔 프로그래밍에서의 최적 가치 함수 추정.
• 강한 이중성 및 정수형 프로그래밍 완화 기법을 활용해 제약 조건의 타당성과 계산 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 SOS 기반 SDP 계층이 볼두성 또는 단조성 제약 조건 하에서 일치하는 형태 제약 함수를 일致성 있게 추정할 수 있는가?
• RQ2 다양한 컴팩트 상자 위에서 볼두성인 다항식 집합 내에서 SOS-볼두성 다항식은 조밀한가?
• RQ3 다항식 차수에 따라 볼두성 및 단조성 다항 회귀 문제의 계산 복잡도는 어떻게 변하는가?
• RQ4 대규모 저차원 설정에서, SOS 추정기의 일반화 오차는 CLSE 및 MAE와 같은 기존 방법에 비해 어떻게 비교되는가?
• RQ5 SOS 기반 방법은 실시간 응용에서 최적 운반 지도 및 가치 함수를 효과적으로 추정할 수 있는가?

주요 결과

• 제안된 SOS 기반 추정기는 고정된 계층 수준 $r$에 대해 항상 일치하며, 진정한 형태 제약 함수로의 이론적 수렴을 증명한다.
• SOS-볼두성 다항식은 임의의 컴팩트 상자 위에서 볼두성인 다항식 집합 내에서 조밀하다. 이는 합의제곱 조밀성 결과를 볼두성 제약 조건으로 확장한 것이다.
• SOS-단조 다항식은 상자 위에서 단조인 다항식 집합 내에서 조밀하다. 이는 단조성에 대해 유사한 조밀성 결과를 확립한 것이다.
• 진정한 형태 제약 회귀 문제와 SOS 완화 문제의 최적값 간 격차는 매우 작다. 차수 $d=3$이고 계층 수준 $r=1$일지라도 2% 미만이다.
• 대규모 저차원 설정에서, SOS 추정기는 일반화 오차 측면에서 CLSE 및 MAE를 능가하며, 특히 반복적인 신속한 예측이 필요한 경우에 유리하다.
• 색상 이동 작업에서 최고 수준의 성능을 기록하며, CLSE 기반 접근법을 능가하고, 재고 관리 계약 협상에서 가치 함수의 실시간 추정을 가능하게 한다.