[論文レビュー] A Computational Framework for Multivariate Convex Regression and Its Variants

Rahul Mazumder, Arkopal Choudhury+2 more|arXiv (Cornell University)|Sep 28, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用数 8

ひとこと要約

本稿では、O(n²)の制約があるため、通常の二次計画法（QP）の定式化では計算が困難となる多変数凸回帰の非パラメトリック最小二乗推定量（LSE）を、増大ラグランジュ法と一次最適化に基づくスケーラブルな計算フレームワークによって、効率的に計算する手法を提案する。この手法により、n ≈ 5000にまでスケーリング可能な計算が可能となり、形式的な誤差バインディングを伴う滑らかな凸近似が得られ、Lipschitz制約付きや単調凸回帰などの変種へも自然に拡張可能であり、収束速度の理論的保証が得られる。

ABSTRACT

We study the nonparametric least squares estimator (LSE) of a multivariate convex regression function. The LSE, given as the solution to a quadratic program with <i>O</i>(<i>n</i>²) linear constraints (<i>n</i> being the sample size), is difficult to compute for large problems. Exploiting problem specific structure, we propose a scalable algorithmic framework based on the augmented Lagrangian method to compute the LSE. We develop a novel approach to obtain smooth convex approximations to the fitted (piecewise affine) convex LSE and provide formal bounds on the quality of approximation. When the number of samples is not too large compared to the dimension of the predictor, we propose a regularization scheme—Lipschitz convex regression—where we constrain the norm of the subgradients, and study the rates of convergence of the obtained LSE. Our algorithmic framework is simple and flexible and can be easily adapted to handle variants: estimation of a nondecreasing/nonincreasing convex/concave (with or without a Lipschitz bound) function. We perform numerical studies illustrating the scalability of the proposed algorithm—on some instances our proposal leads to more than a 10,000-fold improvement in runtime when compared to off-the-shelf interior point solvers for problems with <i>n</i> = 500.

研究の動機と目的

• 標準のQP定式化におけるO(n²)の制約により、多変数凸回帰LSEの計算が困難になる問題に対処すること。
• 問題固有の構造を活用して、効率的な凸LSEの計算が可能なスケーラブルな一次最適化フレームワークを構築すること。
• 滑らかな凸近似を、分離的アフィンLSEに対して形式的な誤差バインディングを伴って提供すること。
• Lipschitz制約付き、単調性制約付き、および凹型／凸型回帰などの変種に対しても、理論的収束速度を伴うフレームワークを拡張すること。
• 実データおよび合成データを用いた大規模問題における数値的実験を通じて、スケーラビリティとロバストネスを実証すること。

提案手法

• 関数値と部分勾配に関するO(n²)の線形制約を含む二次計画問題（QP）として、多変数凸回帰を定式化する。
• 増大ラグランジュ法を用いてQPを扱いやすい部分問題に分解し、スケーラブルな一次最適化を可能にする。
• Nesterov風の高速勾配法を用いて、制約行列のスパarsityと構造を活かして双対部分問題を効率的に解く。
• 滑らかさパラメータτを用いた正則化双対問題を解くことで、分離的アフィンLSEに対する滑らかな凸近似を導出する。
• 部分勾配のノルムを制約することで、Lipschitz凸回帰の変種を導入し、より良い統計的収束速度を実現する。
• 部分勾配に関する追加の線形制約を用いて、単調性制約（非減少／非増加）を扱えるようにフレームワークを適応させる。

実験結果

リサーチクエスチョン

• RQ1 内点法が失敗するような大規模問題（n > 300）において、非パラメトリック凸LSEを効率的に計算できるか？
• RQ2 分離的アフィンLSEに対する滑らかな凸近似の品質はどの程度か？形式的な誤差バインディングを導出できるか？
• RQ3 Lipschitz制約下でのLSEの収束速度はどのように振る舞い、高次元設定下での最適収束速度は何か？
• RQ4 スケーラビリティを損なわず、単調性制約（例：非減少凸関数）を扱えるようにアルゴリズムフレームワークを拡張できるか？
• RQ5 実データおよび合成データにおいて、提案手法の実効的スケーラビリティを、市販のソルバーと比較して評価できるか？

主な発見

• 提案アルゴリズムは、n ≈ 5000のスケールで中程度の精度で多変数凸LSEを計算可能であり、市販の内点法ソルバーのスケーリング限界を著しく上回る。
• 双対平滑化技術を用いてLSEに対する滑らかな凸近似が得られ、滑らかさパラメータτに対して近似誤差がO(τ)でバインディングされる。
• Lipschitz制約下では、d次元の予測子に対して、LSEは最小最大最適収束速度r_n = O(n^{-2/(d+4)})を達成する。
• 単調凸／凹回帰などの変種に対しても、スケーラビリティと収束性を維持し、一貫性と収束に関する理論的保証が得られる。
• 数値的実験により、高次元および大標本設定を含む多様な例において、本手法の効率性とロバストネスが確認された。
• フレームワークは柔軟で、勾配の有界性や単調性などの追加制約に対しても、コアのアルゴリズム構造を変更せずに容易に適応可能である。