[論文レビュー] Approximate Leave-One-Out for High-Dimensional Non-Differentiable Learning Problems

Shuaiwen Wang, Wenda Zhou+3 more|arXiv (Cornell University)|Oct 4, 2018

Sparse and Compressive Sensing Techniques参考文献 38被引用数 8

ひとこと要約

本稿では、高次元で微分不可能な学習問題におけるleave-one-out cross-validation (LOOCV) リスクを近似するための、計算的に効率的な3つのフレームワーク—原系、双対系、近接系—を提案する。これらの手法は、LASSO や SVM、核ノルムなどの滑らかでない損失関数や正則化子に対しても、正確なパrameterチューニングを可能にし、微分可能性がある場合には先行研究の滑らかな手法と等価であることが、広範なシミュレーションによって検証された。

ABSTRACT

Consider the following class of learning schemes: \begin{equation} \label{eq:main-problem1} \hat{\boldsymbolβ} := \underset{\boldsymbolβ \in \mathcal{C}}{\arg\min} \;\sum_{j=1}^n \ell(\boldsymbol{x}_j^ op\boldsymbolβ; y_j) + λR(\boldsymbolβ), \qquad \qquad \qquad (1) \end{equation} where $\boldsymbol{x}_i \in \mathbb{R}^p$ and $y_i \in \mathbb{R}$ denote the $i^{ m th}$ feature and response variable respectively. Let $\ell$ and $R$ be the convex loss function and regularizer, $\boldsymbolβ$ denote the unknown weights, and $λ$ be a regularization parameter. $\mathcal{C} \subset \mathbb{R}^{p}$ is a closed convex set. Finding the optimal choice of $λ$ is a challenging problem in high-dimensional regimes where both $n$ and $p$ are large. We propose three frameworks to obtain a computationally efficient approximation of the leave-one-out cross validation (LOOCV) risk for nonsmooth losses and regularizers. Our three frameworks are based on the primal, dual, and proximal formulations of (1). Each framework shows its strength in certain types of problems. We prove the equivalence of the three approaches under smoothness conditions. This equivalence enables us to justify the accuracy of the three methods under such conditions. We use our approaches to obtain a risk estimate for several standard problems, including generalized LASSO, nuclear norm regularization, and support vector machines. We empirically demonstrate the effectiveness of our results for non-differentiable cases.

研究の動機と目的

• n と p が大きい高次元設定における正確なleave-one-out cross-validation (LOOCV) の高い計算コストに対処すること。
• ハッチング損失や L1 正則化子などの非微分可能な損失関数および正則化子に対して、計算的に効率的な LOOCV リスクの近似を構築すること。
• データ分割による不安定性（高次元領域におけるフェーズ転移に起因）が生じる状況でも効果を発揮する統一的で正確な近似手法を提供すること。
• 既存の滑らかな LOOCV 近似手法を非滑らか設定に拡張し、現代の機械学習問題における信頼性を確保すること。
• 一般化 LASSO、サポートベクターマシン、核ノルム正則化において、提案手法の精度を実証的に検証すること。

提案手法

• 原系フレームワークは、元の最適化問題の滑らか化および二次近似を用いて、近似 leave-one-out 推定子を導出する。
• 双対系フレームワークは、学習問題の双対を近似することで ALO 近似を導出する。凸双対性を活用している。
• 近接系フレームワークは、最適化問題に近接アルゴリズムを適用し、反復的更新によって leave-one-out 予測を効率的に計算可能にする。
• 損失関数および正則化子が2回微分可能である場合、3つのフレームワークは同等であることが証明され、[43] の先行結果と一致する。
• 一般化 LASSO、核ノルム最小化、サポートベクターマシンに対して、閉形式の ALO 公式を導出するために手法を適用した。
• 理論的分析により、滑らかさの条件下での近似の収束性を示し、数値的検証により非滑らかケースでも精度が確認された。

実験結果

リサーチクエスチョン

• RQ1 非微分可能な損失関数および正則化子を有する高次元問題における、計算的に効率的な LOOCV リスクの近似を構築できるか？
• RQ2 原系、双対系、近接系フレームワークは、異なる種類の学習問題において、精度および計算効率の観点でどのように比較できるか？
• RQ3 3つの提案フレームワークが同等となる条件は何か？そして、その同等性はそれらの精度をどのように裏付けているか？
• RQ4 k-fold CV がバイアスを示す高次元領域において、提案された ALO 近似は、外れ値予測誤差を信頼性高く推定できるか？
• RQ5 一般化 LASSO、SVM、低ランク行列回復といった実世界のモデルにおいて、近似手法の実証的性能はいかがなものか？

主な発見

• 提案された ALO 近似は、非微分可能な問題（例：LASSO や SVM）に対しても、外れ値予測誤差の推定において高い精度を達成しており、高次元領域におけるバイアスを示す k-fold CV を上回る性能を示した。
• 滑らかな損失関数および正則化子関数の場合、3つのフレームワークは同一の ALO 公式を生成し、[43] の結果と一致した。これにより理論的整合性が裏付けられた。
• 原系、双対系、近接系フレームワークは、問題構造に応じて相補的な強みを示し、特にスパースおよび低ランクモデルに対して近接法が顕著に有効であった。
• 実証的結果から、n=5000 および p=4000 のシミュレーションにおいて、高次元フェーズ転移下でも ALO 近似が真の外れ値誤差をよく追跡することが示された。
• 核ノルムなどの非滑らか正則化子や、ハッチング損失などの非滑らか損失関数に対しても、本手法は LOOCV 近似の適用範囲を滑らかでない設定へと拡張した。
• 収束解析により、滑らかさパrameter ε→0 の極限でも近似が有効であることが確認され、ヘッセ行列の非対角項および対角項が適切に収束し、一貫性のある推定子が得られることを示した。