[論文レビュー] The Variational Garrote

Hilbert J. Kappen, Vicenç Gómez|arXiv (Cornell University)|Sep 2, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用数 5

ひとこと要約

この論文は、$p < n$ の場合でも適切に定義された解が得られる、$L_0$ 正則化と変分近似を組み合わせた新しい変分ベイジアン手法、Variational Garrote (VG) を提案する。この手法は動的正則化を変分リッジ項を通じて実現し、予測精度とスパarsity回復性能においてラッソやリッジ回帰を上回り、双対定式化により効率的にスケーリングされ、密なおよび相関の高い問題においてペaired Mean Field (PMF) 法よりも著しく高速かつ高性能である。

ABSTRACT

In this paper, we present a new variational method for sparse regression using $L_0$ regularization. The variational parameters appear in the approximate model in a way that is similar to Breiman's Garrote model. We refer to this method as the variational Garrote (VG). We show that the combination of the variational approximation and $L_0$ regularization has the effect of making the problem effectively of maximal rank even when the number of samples is small compared to the number of variables. The VG is compared numerically with the Lasso method, ridge regression and the recently introduced paired mean field method (PMF) (M. Titsias &amp; M. Lázaro-Gredilla., NIPS 2012). Numerical results show that the VG and PMF yield more accurate predictions and more accurately reconstruct the true model than the other methods. It is shown that the VG finds correct solutions when the Lasso solution is inconsistent due to large input correlations. Globally, VG is significantly faster than PMF and tends to perform better as the problems become denser and in problems with strongly correlated inputs. The naive implementation of the VG scales cubic with the number of features. By introducing Lagrange multipliers we obtain a dual formulation of the problem that scales cubic in the number of samples, but close to linear in the number of features.

研究の動機と目的

• $p < n$ であり解が不適切または非スパースとなる高次元・小標本領域における通常最小二乗法やリッジ回帰の限界を解消すること。
• 変分近似を用いて $L_0$ 正則化を実装することで、高い予測精度とモデルの解釈可能性を両立するスパース回帰手法の開発。
• 正確な $L_0$ 正則化の計算的・非凸性の課題を、効率的な最適化を可能にする変分ベイジアンフレームワークの導入により克服すること。
• 提案手法をラッソ、リッジ回帰、およびペアード平均場 (PMF) 法と実験的に比較し、特に予測精度、スパarsity、およびスケーラビリティの観点から評価すること。

提案手法

• 各特徴量がモデルに含まれるかどうかを決定するバイナリ選択変数 $s_i$ を統合するために変分近似を用い、重み $̄{w}$ に関するMAP推定値を導出する。
• 近似を通じて変分リッジ項を導入し、$p < n$ の場合でも設計行列の有効なランクが最大になるように保証することで、解の安定性を確保する。
• 尤度と $L_0$ 正則化によるスパース性を促進する事前分布を組み合わせた、変分自由エネルギーの最小化がコアとなる最適化である。
• ラグランジュ乗数を用いて双対定式化を導出し、特徴量に依存する計算量のスケーリングを立方根から標本数に依存する立方根に削減することで、高次元問題における効率的計算を可能にする。
• 変分パラメータと重みの並列更新を用い、局所最適解を避けるためにスパースリグレッションの事前分布パラメータ $\gamma$ に対してヒューリスティックな冷却スケジュールを導入する。
• 実装は MATLAB を用い、ラッソ（最適化された Fortran を使用）および PMF（著者から提供されたコードを用いて）と比較した。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰において $p < n$ の場合に、$L_0$ 正則化の変分近似が、安定的かつ適切に定義された解をもたらすか。
• RQ2 Variational Garrote の性能が、ラッソ、リッジ回帰、および PMF と比較して、予測精度とスパarsity回復性能においてどのように差がつくか。
• RQ3 近似によって導入された変分リッジ項が、小標本領域における解の安定性と一般化性能の向上に効果的に寄与するか。
• RQ4 特に密なまたは相関の高い入力設定において、特徴量数 $n$ の増加に伴うスケーリング特性はいかが。
• RQ5 双対定式化が計算コストを顕著に削減しつつ、特に $n$ が大きい場合に精度を維持できるか。

主な発見

• Variational Garrote (VG) は、強い入力相関を示す問題において、ラッソ、リッジ回帰、PMF よりも著しく高い予測精度とスパarsity回復性能を達成する。
• VG は速度と精度の両面で PMF を上回り、$n$ に対してほぼ線形に計算時間が増加する一方、PMF は $n$ の増加に伴い著しく性能が低下する。
• 直交設計の場合、スパースリグレッションの事前分布パラメータ $\gamma$ が強くなく、かつ入力-出力相関 $\rho$ も大きくない限り、VG の解は一意であることが、導出されたフェーズプロットによって確認された。
• $n$ が増加しても VG の解の $L_0$ ノルムは真のスパarsityレベル（例：$L_0 = 5$）に近いが、ラッソの $L_0$ ノルムは $n$ の増加に伴い劣化する。
• VG はノイズがゼロに近い極限でもロバストであり、圧縮センシングの理論的予測と整合し、$L_0$ 正則化が最適であるとされる。また、局所最適解の問題が顕著な密な問題でも良好に動作する。
• VG の双対定式化により、計算複雑度が $O(n^3)$ から $O(p^3)$ に低下し、$n$ に伴う効率的スケーリングが可能になった。同時に、双対更新ステップは $n$ に対して線形スケーリングを維持している。