[論文レビュー] Efficient Regularized Regression for Variable Selection with L0 Penalty

Zhenqiu Liu, Gang Li|arXiv (Cornell University)|Jul 28, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用数 3

ひとこと要約

本稿では、逐次的に凸なL₂リッジ回帰を最適化することで、NP困難なL₀正則化回帰問題を直接解く効率的なEMアルゴリズム（L₀ EM）を提案する。この手法は、交差検証を伴わずにAIC/BICを用いた直接的なモデル選択が可能であり、LASSOよりもバイアスが少なく、高次元ゲノムデータにおける生物学的に関連する遺伝子や経路の特定を効果的に行う。

ABSTRACT

Variable (feature, gene, model, which we use interchangeably) selections for regression with high-dimensional BIGDATA have found many applications in bioinformatics, computational biology, image processing, and engineering. One appealing approach is the L0 regularized regression which penalizes the number of nonzero features in the model directly. L0 is known as the most essential sparsity measure and has nice theoretical properties, while the popular L1 regularization is only a best convex relaxation of L0. Therefore, it is natural to expect that L0 regularized regression performs better than LASSO. However, it is well-known that L0 optimization is NP-hard and computationally challenging. Instead of solving the L0 problems directly, most publications so far have tried to solve an approximation problem that closely resembles L0 regularization. In this paper, we propose an efficient EM algorithm (L0EM) that directly solves the L0 optimization problem. $L_0$EM is efficient with high dimensional data. It also provides a natural solution to all Lp p in [0,2] problems. The regularized parameter can be either determined through cross-validation or AIC and BIC. Theoretical properties of the L0-regularized estimator are given under mild conditions that permit the number of variables to be much larger than the sample size. We demonstrate our methods through simulation and high-dimensional genomic data. The results indicate that L0 has better performance than LASSO and L0 with AIC or BIC has similar performance as computationally intensive cross-validation. The proposed algorithms are efficient in identifying the non-zero variables with less-bias and selecting biologically important genes and pathways with high dimensional BIGDATA.

研究の動機と目的

• 特徴数がサンプルサイズをはるかに上回る高次元データにおける直接的L₀正則化の計算的非実行性に対処すること。
• L₁（LASSO）の凸緩和によって生じる推定バイアスを回避するため、L₀ペナルティを直接最適化する手法の開発。
• 正則化パrameter λ のチューニングに交差検証を用いる代わりに、計算的に効率的な代替手法の提供。
• 高次元オミクスデータにおける真に関連する変数および生物学的に意味のある遺伝子や経路の正確な同定を可能にすること。
• Lₚ正則化（p ∈ [0,2]）の全範囲に一般化するフレームワークの拡張。LASSO（p=1）、エラスティックネット（p∈[1,2]）、非凸Lₚ（p∈(0,1]）正則化を含む。

提案手法

• L₀ EMアルゴリズムは、Eステップ（潜在変数ηを現在のパramータ推定値θに設定）とMステップ（重み付きリッジ回帰によりθを更新）を交互に繰り返す。
• Mステップでは、次式の最適化問題を解く：θ = (XₜₐₜX + λI)⁻¹Xₜₐₜy、ここでXₜₐₜは重みη²⁻ᵖを備えた重み付き設計行列である。
• このアルゴリズムは、L₀ペナルティの滑らかな近似から導出され、非凸なL₀問題を一連の凸部分問題に変換する。
• この手法は、p ∈ [0,2] のすべてのLₚ正則化に自然に一般化可能であり、ペナルティ項は∑|θⱼ|ᵖ = ∑θⱼ² / ηⱼ²⁻ᵖ として再定式化される。
• 弱い条件下でも収束が保証され、各反復後に一意な解に収束する。
• 最終段階として、硬いしきい値処理を実施し、|θⱼ| < ε であればθⱼ = 0 とすることでスパarsityを強制する。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰設定において、L₀ペナルティの直接最適化を計算的に効率的に行うことは可能か？
• RQ2 L₀正則化回帰は、変数選択の正確性、推定バイアス、予測誤差の観点でLASSOを上回るか？
• RQ3 AIC や BIC といったモデル選択基準を用いて、交差検証を伴わず最適なλを特定できるか？
• RQ4 L₀ EM手法は、高次元グラフィカルモデルにおいて、誤発見率（FDR）をどれほど効果的に制御できるか？
• RQ5 この手法は、実世界の高次元ゲノムデータにおいて生物学的に関連する遺伝子や経路を同定できるか？

主な発見

• L₀正則化回帰は、特に弱い相関構造下でLASSOを著しく上回り、偽陽性率が低く、テストMSEも小さいという点で変数選択の正確性に優れる。
• L₀ EMアルゴリズムは、真に非ゼロのパramータに対しても係数をゼロに収束させるというLASSOの特徴を示さないため、推定バイアスがより小さい。
• AICとBICは、計算的に高コストな交差検証に匹敵する最適なλ値を提供し、パスベースのチューニングの必要性を排除する。
• グラフィカルモデルのシミュレーションにおいて、さまざまなサンプルサイズ下で誤発見率（FDR）が非常に良好に制御され、FDRは低く保たれる。
• 卵巣がんの遺伝子発現データにおいて、FAP、CTS K、SPARC、COL1A1といった既知のがん関連遺伝子を含む生物学的に意味のあるサブネットワークが効果的に同定された。
• この手法は、重要な生物学的経路や潜在的治療標的を効果的に同定でき、システム生物学およびバイオマーカー探索における実用性を示している。