[論文レビュー] Efficient algorithms for multivariate shape-constrained convex regression problems

Meixia Lin, Defeng Sun+1 more|arXiv (Cornell University)|Feb 26, 2020

Sparse and Compressive Sensing Techniques参考文献 32被引用数 7

ひとこと要約

本稿では、多変数形状制約付き凸回帰のための効率的なアルゴリズムを提案する。最小二乗推定量を、(n+1)d個の変数とn(n−1)個の制約をもつ大規模な凸二次計画問題として定式化する。sGS-ADMMとpALM（半スムーズニュートン法を内点問題として用いる）の2つのソルバを導入し、バスケットオプション価格設定および生産関数推定において、最先端の手法を上回る性能を示した。

ABSTRACT

Shape-constrained convex regression problem deals with fitting a convex function to the observed data, where additional constraints are imposed, such as component-wise monotonicity and uniform Lipschitz continuity. This paper provides a comprehensive mechanism for computing the least squares estimator of a multivariate shape-constrained convex regression function in $\mathbb{R}^d$. We prove that the least squares estimator is computable via solving a constrained convex quadratic programming (QP) problem with $(n+1)d$ variables and at least $n(n-1)$ linear inequality constraints, where $n$ is the number of data points. For solving the generally very large-scale convex QP, we design two efficient algorithms, one is the symmetric Gauss-Seidel based alternating direction method of multipliers ({ t sGS-ADMM}), and the other is the proximal augmented Lagrangian method ({ t pALM}) with the subproblems solved by the semismooth Newton method ({ t SSN}). Comprehensive numerical experiments, including those in the pricing of basket options and estimation of production functions in economics, demonstrate that both of our proposed algorithms outperform the state-of-the-art algorithm. The { t pALM} is more efficient than the { t sGS-ADMM} but the latter has the advantage of being simpler to implement.

研究の動機と目的

• 単調性やリプシッツ連続性などの形状制約を伴う大規模な多変数凸回帰問題を解く際の計算課題に対処する。
• これらの制約下での凸関数の最小二乗推定量を計算可能な枠組みとして構築する。
• 内点法がメモリ制限のため失敗するような、大規模データ（n > 1000）および中程度の次元（d は80まで）を扱えるスケーラブルなアルゴリズムを開発する。
• ファイナンシャル工学や計量経済学など多様な応用分野（オプション価格設定や生産関数推定など）においても、強固な性能を発揮する。
• PAPG や3ブロックADMMといった既存手法が遅すぎたり収束の証明が不完全であるような大規模問題において、収束保証と実用的効率性を両立する。

提案手法

• 形状制約付き凸回帰問題を、(n+1)d個の変数と、凸性および単調性を強制するための少なくともn(n−1)個の線形不等式制約をもつ制約付き凸二次計画問題（QP）として定式化する。
• 収束性と安定性の向上を図るため、対称ガウス・ザイデルに基づくADMM（sGS-ADMM）を用いてQPを解く。
• 半スムーズニュートン（SSN）法を内点問題として用いる正則化増大ラグランジュ法（pALM）を提案し、収束速度の向上と効率性の改善を図る。
• 両アルゴリズムの性能を向上させるために、プリコンディショニングおよびウォームスタート戦略を導入する。
• 成分ごとの単調性および一様リプシッツ連続性制約をサポートする統合フレームワークを構築する。
• 金融・経済分野の実データセットにアルゴリズムを適用し、数値実験を通じてスケーラビリティと正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 単調性やリプシッツ連続性などの形状制約下で、多変数凸回帰の最小二乗推定量を効率的に計算可能か？
• RQ2 提案手法であるsGS-ADMMとpALMは、大規模問題における収束速度、メモリ使用量、耐障害性の観点でどのように比較されるか？
• RQ3 内点法がメモリ制限のため失敗するような、n > 1000およびd > 10の実世界データセットを、これらのアルゴリズムが効率的に処理できるか？
• RQ4 オプション価格設定や生産関数推定といった応用分野において、形状制約は推定精度をどの程度向上させるか？
• RQ5 収束保証を維持しつつ、pALMにSSN内点問題を組み合わせた手法は、sGS-ADMMよりも計算時間を短縮できるか？

主な発見

• 多変数形状制約付き凸回帰の最小二乗推定量は、(n+1)d個の変数と少なくともn(n−1)個の線形制約をもつ凸QPとして計算可能である。
• SSN内点問題を内蔵したpALMはsGS-ADMMを上回る速度を発揮し、d=80、n=1600の問題を1分未満で解けるのに対し、PAPGでは17分を要した。
• sGS-ADMMは実装が単純で、中規模問題では優れた性能を発揮する。
• M=10のバスケットオプション価格設定において、形状制約モデル（SC）は600件のデータで3分52秒でMSE ≈ 1.49を達成し、非制約モデル（UC）のMSE ≈ 42.9を著しく上回った。
• 平均週給データ（n=857）では、形状制約モデルが1分未満で解け、経験年数および変換済み教育水準に関して凹関数を生成した。
• チリのプラスチック産業（n=250）の生産関数推定では3秒、ベルギー企業（n=562）では22秒で完了し、両者とも高い正確性と形状の一貫性を示した。