[論文レビュー] Approximate Leave-One-Out for Fast Parameter Tuning in High Dimensions.

Shuaiwen Wang, Wenda Zhou+3 more|arXiv (Cornell University)|Jul 3, 2018

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、滑らかでない損失関数および正則化子を伴う高次元学習問題におけるleave-one-out cross-validation (LOOCV)リスクを近似する2つの計算的に効率的なフレームワーク——主問題および双対問題に基づくもの——を提案する。この手法により、一般化LASSO、核ノルム正則化、サポートベクターマシンに対して、理論的同等性と実験的妥当性を有する、正確でスケーラブルなALO推定が可能となり、非微分可能な設定においても高速なパrameterチューニングが実現される。

ABSTRACT

Consider the following class of learning schemes: $$\hat{\boldsymbol{\beta}} := \arg\min_{\boldsymbol{\beta}}\;\sum_{j=1}^n \ell(\boldsymbol{x}_j^ op\boldsymbol{\beta}; y_j) + \lambda R(\boldsymbol{\beta}),\qquad\qquad (1) $$ where $\boldsymbol{x}_i \in \mathbb{R}^p$ and $y_i \in \mathbb{R}$ denote the $i^{ ext{th}}$ feature and response variable respectively. Let $\ell$ and $R$ be the loss function and regularizer, $\boldsymbol{\beta}$ denote the unknown weights, and $\lambda$ be a regularization parameter. Finding the optimal choice of $\lambda$ is a challenging problem in high-dimensional regimes where both $n$ and $p$ are large. We propose two frameworks to obtain a computationally efficient approximation ALO of the leave-one-out cross validation (LOOCV) risk for nonsmooth losses and regularizers. Our two frameworks are based on the primal and dual formulations of (1). We prove the equivalence of the two approaches under smoothness conditions. This equivalence enables us to justify the accuracy of both methods under such conditions. We use our approaches to obtain a risk estimate for several standard problems, including generalized LASSO, nuclear norm regularization, and support vector machines. We empirically demonstrate the effectiveness of our results for non-differentiable cases.

研究の動機と目的

• 高次元学習における最適な正則化パrameter選択の課題に取り組むこと。ここでの前提は、標本サイズ $n$ と特徴次元 $p$ が両方とも大きいこと。
• 滑らかでない損失関数および正則化子を伴うleave-one-out cross-validation (LOOCV) リスクの計算的に効率的な近似を構築すること。
• 滑らかさ条件の下で、近似的LOOCV (ALO) の主問題および双対問題の定式化の間の理論的同等性を確立すること。
• 一般化LASSO、核ノルム正則化、サポートベクターマシンといった標準的な高次元問題に対して、正確なリスク推定を提供すること。

提案手法

• 単一の訓練例を削除したときの解 $\hat{\boldsymbol{\beta}}$ に与える影響を分析することで、主問題に基づくLOOCVリスクの近似を提案する。
• 最適化問題のラグランジュ双対を活用して、ALO推定を導出する双対問題に基づくフレームワークを開発する。
• 損失関数および正則化子関数の滑らかさ条件の下で、主問題および双対問題のALO近似の理論的同等性を確立する。
• 陰関数微分および感度解析を用いて、ALOリスク推定の閉形式または取り扱いやすい表現を導出する。
• 一般化LASSO、核ノルムによる低ランク行列回復、SVMs といった特定のモデルにこのフレームワークを適用する。
• 数値実験を通じて、非微分可能な設定におけるALO近似の正確性と効率性を検証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない損失関数および正則化子を伴う高次元モデルに対して、LOOCVの計算的に効率的な近似を導出できるか？
• RQ2 ALO近似の主問題および双対問題の定式化は、正確性および計算コストの観点からどのように比較されるか？
• RQ3 主問題および双対問題のALO近似が理論的に同等となる条件は何か？
• RQ4 提案されたALOフレームワークは、一般化LASSO やSVMs といった標準的な高次元問題に対して信頼性のあるリスク推定を提供できるか？
• RQ5 従来のLOOCVが計算的に困難である非微分可能な状況において、ALO近似はどの程度の性能を示すか？

主な発見

• 提案されたALO近似は、正確なLOOCVに代わる計算的に効率的な代替手段を提供し、1回のパrameterチューニングステップあたりの解法回数を $O(n)$ から1回に削減する。
• 損失関数および正則化子関数の滑らかさ条件の下では、主問題および双対問題のALOフレームワークは理論的に同等である。
• ALO手法は、LASSO やSVMs といった非微分可能な問題に対しても、LOOCVリスクの推定において高い正確性を達成する。
• 実験的結果により、ALO近似が一般化LASSO、核ノルム、SVMの各設定において、最適な正則化パrameterを効果的に特定できることを示している。
• 正確なLOOCVが計算コストのため実行不可能となる高次元領域においても、本手法は良好なスケーラビリティを示す。