[論文レビュー] Convex vs nonconvex approaches for sparse estimation: GLasso, Multiple Kernel Learning and Hyperparameter GLasso

Aleksandr Y. Aravkin, James V. Burke+2 more|arXiv (Cornell University)|Feb 26, 2013

Statistical Methods and Inference参考文献 34被引用数 5

ひとこと要約

本稿では、階層ベイズモデルにおける周辺尤度最大化に基づく非凸スパース推定フレームワークを提案し、Group Lasso や Multiple Kernel Learning といった凸法と対比する。非凸アプローチ（Hyperparameter GLasso、HGLasso と呼ぶ）は、経験ベイズによるハイパーパrameter最適化により、より高いスパarsityとノイズ耐性を達成しており、低ノイズ条件下で ℓ₀ ノルムのよりタイトな近似に理論的に収束することを示している。

ABSTRACT

The popular Lasso approach for sparse estimation can be derived via marginalization of a joint density associated with a particular stochastic model. A different marginalization of the same probabilistic model leads to a different non-convex estimator where hyperparameters are optimized. Extending these arguments to problems where groups of variables have to be estimated, we study a computational scheme for sparse estimation that differs from the Group Lasso. Although the underlying optimization problem defining this estimator is non-convex, an initialization strategy based on a univariate Bayesian forward selection scheme is presented. This also allows us to define an effective non-convex estimator where only one scalar variable is involved in the optimization process. Theoretical arguments, independent of the correctness of the priors entering the sparse model, are included to clarify the advantages of this non-convex technique in comparison with other convex estimators. Numerical experiments are also used to compare the performance of these approaches.

研究の動機と目的

• 非凸スパース推定の理論的・実用的利点が、Group Lasso や Multiple Kernel Learning といった凸代替手法よりも顕著であることを明確化すること。
• Lasso、Group Lasso、Multiple Kernel Learning、および指数型ハイパーパラメータ事前分布（HGLasso）を共通のベイズ枠組みで統一すること。
• 凸緩和の限界を回避しつつ計算可能性を維持するグループスパース推定のための非凸最適化スキームを開発すること。
• HGLasso推定量の理論的収束を確立し、特に低ノイズ状態において ℓ₀ ノルムをよりよく近似する解に収束することを示すこと。
• 数値実験を通じて、スパarsity、推定精度、ノイズ耐性の観点から本手法を実証的に検証すること。

提案手法

• ハイパーパラメータを周辺尤度最大化（経験ベイズ）により推定する階層ベイズモデル内でスパース推定を定式化する。
• 同じ結合密度の異なるマージナライゼーションから生じる非凸代替手法として HGLasso 推定量を導出する。
• 初期化に一変量ベイズ順方向選択スキームを導入し、スカラ変数のみを用いた効果的な非凸最適化を可能にする。
• ハイパーパラメータの逆数および対数項を含む非凸目的関数の最小化問題を提案する。ここで罰則項として γλ を含む。
• 陰関数定理と確率的収束の議論を用いて、HGLasso推定量の漸近的一貫性を証明する。
• KKT条件とスパarsityと縮小のトレードオフを分析し、非凸手法が凸手法よりも ℓ₀ ノルムにタイトに近づくことを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸 HGLasso 推定量は、Group Lasso や Multiple Kernel Learning と比較して、スパarsity と推定精度の観点でどのように異なるか？
• RQ2 特に低ノイズ状態において、非凸アプローチが ℓ₀ ノルムを近似する上で示す理論的利点は何か？
• RQ3 高次元グループスパースモデルにおいて、一変量初期化戦略が非凸スパース推定の安定性と性能向上に有効に機能するか？
• RQ4 HGLasso推定量の漸近的挙動は何か？正則化条件のもとで意味のある解に収束するか？
• RQ5 経験ベイズ形式を採用しているが、モデルの誤指定や誤った事前分布がある場合でも、HGLasso 法はどれほど頑健か？

主な発見

• γ > 0 のとき、HGLasso 推定量は確率的に Group Lasso 推定量よりも厳密に小さい解に収束する。これは、より高いスパarsity を示している。
• 低ノイズ条件下では、理論的および数値的証拠により、HGLasso 推定量が凸手法よりも ℓ₀ ノルムにタイトに近づく。
• 正則性条件のもとで、HGLasso 推定量は真のスパース解に収束し、極限値は正則化パラメータ γ に依存する。
• 真の信号がゼロの場合、γ にかかわらず HGLasso 推定量は確率的にゼロに収束する。これは、帰無仮説下での正しくスパースな回復を保証する。
• 非凸アプローチは、事前分布が誤って指定されていても、凸手法よりも優れたノイズ耐性を示す。
• 理論的分析により、HGLasso 目的関数は極限において厳密に凸であることが確認され、やや厳しい条件下でも一意の最小値を保証する。