[論文レビュー] Multivariate Convex Regression at Scale

Wenyu Chen, Rahul Mazumder|arXiv (Cornell University)|May 23, 2020

Machine Learning and Algorithms参考文献 38被引用数 8

ひとこと要約

本稿では、大規模な多次元凸回帰のためのスケーラブルなアクティブセット法を提案する。近似部分問題最適化と確率的増幅ルールを用いることで、双対QPに対して線形収束を達成する。n=10⁵、d=10のインスタンスを数分で解き、従来手法を著しく上回る性能を発揮する。

ABSTRACT

We present new large-scale algorithms for fitting a subgradient regularized multivariate convex regression function to $n$ samples in $d$ dimensions -- a key problem in shape constrained nonparametric regression with widespread applications in statistics, engineering and the applied sciences. The infinite-dimensional learning task can be expressed via a convex quadratic program (QP) with $O(nd)$ decision variables and $O(n^2)$ constraints. While instances with $n$ in the lower thousands can be addressed with current algorithms within reasonable runtimes, solving larger problems (e.g., $n\approx 10^4$ or $10^5$) is computationally challenging. To this end, we present an active set type algorithm on the dual QP. For computational scalability, we perform approximate optimization of the reduced sub-problems; and propose randomized augmentation rules for expanding the active set. Although the dual is not strongly convex, we present a novel linear convergence rate of our algorithm on the dual. We demonstrate that our framework can approximately solve instances of the convex regression problem with $n=10^5$ and $d=10$ within minutes; and offers significant computational gains compared to earlier approaches.

研究の動機と目的

• n ≈ 10⁴ から 10⁵ のサンプルを有する大規模データセットに多次元凸回帰関数をフィットさせる際の計算的課題に対処すること。
• O(nd)の変数とO(n²)の制約を有する無限次元学習タスクに対して、既存の凸二次計画法（QP）ソルバのスケーラビリティ制限を克服すること。
• 大規模インスタンスにおける効率的最適化を可能にする双対アクティブセットアルゴリズムの開発。
• 双対QPが強く凸でないにもかかわらず収束保証を確保すること。

提案手法

• 多次元凸回帰問題を、O(nd)の意思決定変数とO(n²)の制約を有する凸QPとして定式化する。
• 双対QPにアクティブセット法を適用し、反復的に近似最適化を用いた低次元部分問題を解く。
• 効率的なアクティブセット拡張を実現するため、確率的増幅ルールを導入する。
• 双対QPに対して、双対が強く凸でないにもかかわらず、アルゴリズムの線形収束レートを確立する。
• 回帰関数の凸性および形状制約を強制するために、部分勾配正則化を用いる。
• 双対性を活用して、無限次元学習タスクを扱いやすい最適化フレームワークに変換する。

実験結果

リサーチクエスチョン

• RQ1 双対QPが強く凸でないにもかかわらず、双対QPにおけるアクティブセットアルゴリズムが、大規模多次元凸回帰において線形収束を達成できるか？
• RQ2 低次元部分問題の近似最適化と確率的アクティブセット拡張を効果的に組み合わせることで、n=10⁵ にスケーリングできるか？
• RQ3 nが大きく、dが中程度の状況において、提案手法が従来手法に比べてどの程度の計算的パフォーマンス向上を達成できるか？
• RQ4 大規模インスタンスにおいて、実行時間を短縮しつつ、解の品質をどの程度維持できるか？

主な発見

• 提案アルゴリズムは、双対が強く凸でないにもかかわらず、双対QPに対して線形収束を達成し、新たな理論的保証を確立した。
• 本手法は、n=10⁵ および d=10 の多次元凸回帰問題を数分未塔で近似的に解けることを示し、高いスケーラビリティを示した。
• 計算実験により、従来手法に比べて顕著な実行時間の短縮が確認され、大規模データセットにおける実用的利用を可能にした。
• 確率的増幅ルールは、アクティブセットの効果的な拡張に寄与し、収束速度の向上とスケーラビリティの向上に貢献した。
• 部分問題の近似最適化は、反復コストを著しく削減しながらも、解の品質を維持した。