[論文レビュー] Shape-Constrained Regression using Sum of Squares Polynomials

Mihaela Curmei, Georgina Hall|arXiv (Cornell University)|Apr 8, 2020

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿は、ボックス上での凸性または単調性を強制する形状制約付き多変数多項式回帰を解くために、和の乗数（SOS）多項式を用いた半定値計画（SDP）階層を提案する。推定子の理論的一貫性を確立し、SOS-凸およびSOS-単調多項式がそれぞれの凸および単調多項式集合において稠密であることを証明する。数値結果により、最適性ギャップが低く、大規模かつ低次元の問題（最適輸送や価値関数推定を含む）において優れた性能を示す。

ABSTRACT

We present a hierarchy of semidefinite programs (SDPs) for the problem of fitting a shape-constrained (multivariate) polynomial to noisy evaluations of an unknown shape-constrained function. These shape constraints include convexity or monotonicity over a box. We show that polynomial functions that are optimal to any fixed level of our hierarchy form a consistent estimator of the underlying shape-constrained function. As a byproduct of the proof, we establish that sum-of-squares-convex polynomials are dense in the set of polynomials that are convex over an arbitrary box. A similar sum of squares type density result is established for monotone polynomials. In addition, we classify the complexity of convex and monotone polynomial regression as a function of the degree of the polynomial regressor. While our results show NP-hardness of these problems for degree three or larger, we can check numerically that our SDP-based regressors often achieve similar training error at low levels of the hierarchy. Finally, on the computational side, we present an empirical comparison of our SDP-based convex regressors with the convex least squares estimator introduced in [Hildreth, 1954] and [Holloway, 1979] and show that our regressor is valuable in settings where the number of data points is large and the dimension is relatively small. We demonstrate the performance of our regressor for the problem of computing optimal transport maps in a color transfer task and that of estimating the optimal value function of a conic program. A real-time application of the latter problem to inventory management contract negotiation is presented.

研究の動機と目的

• 形状制約付き多項式回帰（凸性または単調性制約）に対してスケーラブルで一貫性のある推定子を開発すること。
• コンパクトなボックス上での凸多項式および単調多項式集合において、SOS-凸およびSOS-単調多項式が稠密であることを示す理論的稠密性結果を確立すること。
• 多項式の次数に応じた凸および単調多項式回帰の計算複雑性を特定し、次数≥3ではNP困難であることを示すこと。
• 一般化誤差および計算効率の観点から、従来の手法（CLSE や MAE）と比較して、SOSベースの推定子に実験的優位性があることを示すこと。
• 生産関数推定、色移動を用いた最適輸送マップ計算、および在庫管理契約交渉における価値関数推定という実世界の問題への応用を実施すること。

提案手法

• 次数$d$および階層レベル$r$でパラメータ化された、形状制約をSOS表現を用いて強制する半定値計画（SDP）の階層を定式化する。
• SOS表現を用いてボックス全体にわたる凸性および単調性制約を符号化し、凸最適化に基づく検証および学習を可能にする。
• 形状制約付き多項式回帰問題の解を近似するためのモーメント-SOS緩和フレームワークを採用する。
• 真の形状制約付き問題の最適値とSOS緩和問題の最適値との間のギャップを評価する、凸最適化に基づくギャップバウンディング手法を導入する。
• 経済学的生産関数のフィッティング、色移動を用いた最適輸送マップの計算、および円錐計画における最適価値関数推定という3つの応用にこの手法を適用する。
• 強い双対性および半定値緩和技術を用いて、制約の妥当性と計算の実行可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 SOSベースのSDP階層は、凸性または単調性制約下でも、形状制約付き関数を一貫して推定できるか？
• RQ2 コンパクトなボックス上での凸多項式集合において、SOS-凸多項式は稠密か？
• RQ3 多項式の次数関数としての凸および単調多項式回帰の計算複雑性はいかほどか？
• RQ4 大規模・低次元設定において、SOS推定子の一般化誤差はCLSE や MAE といった既存手法と比較してどうか？
• RQ5 SOSベースの手法は、リアルタイム応用における最適輸送マップおよび価値関数の推定に有効に機能するか？

主な発見

• 提案されたSOSベースの推定子は、任意の固定階層レベル$r$において一貫性を示し、真の形状制約付き関数への理論的収束を証明する。
• SOS-凸多項式は、任意のコンパクトなボックス上で凸である多項式集合において稠密であり、SOS稠密性結果を凸性制約に拡張する。
• SOS-単調多項式は、ボックス上での単調多項式集合において稠密であり、単調性についても同様の稠密性結果を確立する。
• 真の形状制約付き回帰問題とSOS緩和問題との最適値ギャップは非常に小さい—次数$d=3$、階層レベル$r=1$でも2%未満である。
• 大規模・低次元の設定では、一般化誤差においてSOS推定子はCLSE や MAE を上回り、高速かつ繰り返しの予測が必要な状況で特に優れた性能を示す。
• 色移動タスクでは、SOSベースの手法がCLSEに基づく手法を上回り、在庫管理契約交渉における価値関数のリアルタイム推定を実現する。