[論文レビュー] Horseshoe Regularization for Feature Subset Selection

Anindya Bhadra, Jyotishka Datta+2 more|arXiv (Cornell University)|Feb 23, 2017

Face and Expression Recognition参考文献 40被引用数 7

ひとこと要約

本稿では、特徴量サブセット選択をホースシェューパイオリの下でのベイズ後部モード推定問題として定式化することにより、ホースシェューレギュライゼーションを提案する。これにより、EMおよび局所線形近似を用いた効率的な最適化と、MCMCを用いた不確実性の定量化が可能となる。この手法は、最先端の非凸ソルバーと比較して優れた統計的性能と著しく高速な計算速度を達成する。

ABSTRACT

Feature subset selection arises in many high-dimensional applications of statistics, such as compressed sensing and genomics. The $\ell_0$ penalty is ideal for this task, the caveat being it requires the NP-hard combinatorial evaluation of all models. A recent area of considerable interest is to develop efficient algorithms to fit models with a non-convex $\ell_γ$ penalty for $γ\in (0,1)$, which results in sparser models than the convex $\ell_1$ or lasso penalty, but is harder to fit. We propose an alternative, termed the horseshoe regularization penalty for feature subset selection, and demonstrate its theoretical and computational advantages. The distinguishing feature from existing non-convex optimization approaches is a full probabilistic representation of the penalty as the negative of the logarithm of a suitable prior, which in turn enables efficient expectation-maximization and local linear approximation algorithms for optimization and MCMC for uncertainty quantification. In synthetic and real data, the resulting algorithms provide better statistical performance, and the computation requires a fraction of time of state-of-the-art non-convex solvers.

研究の動機と目的

• 高次元特徴量サブセット選択に対して計算的に効率的で統計的に強力な手法を開発すること。
• lassoのような凸ペナルティの限界、特に大きな信号に対してバイアスを生じさせ、推定性能が劣ることを克服すること。
• 理想的な ℓ₀ ペナルティの計算的非実行性を、確率的かつスケーラブルな代替手法で解決すること。
• 点推定だけでなく、MCMCによる不確実性の定量化を含む完全なベイズフレームワークを提供すること。
• ホースシェューレギュライゼーションが、既存の非凸ペナルティと比較してより優れたスパarsityと推定精度を達成することを示すこと。

提案手法

• ホースシェューパイオリは、半コーシー分布を用いたグローバルスケーリングパラメータを持つ正規分布のスケール混合としてモデル化され、計算の効率化を図る階層的表現を可能にする。
• ペナルティはホースシェューパイオリの負の対数尤度として導出され、最適化問題が後部モード推定問題に変換される。
• 非凸目的関数の高速最適化のため、期待値最大化（EM）および局所線形近似（LLA）アルゴリズムが開発された。
• 特徴量選択およびパラメータ推定の不確実性を定量化するために、マルコフ連鎖モンテカルロ（MCMC）サンプリングが用いられた。
• 組み合わせ的モデル評価を回避するため、潜在変数表現を活用してスケーラブルな推論を実現した。
• ホースシェューパイオリの裾の重い特性とゼロ付近のスパイクは、自然にスパarsityを促進し、関係のない特徴量の縮小を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全な確率的アプローチによる非凸正則化が、統計的性能と計算速度の両面で、既存の非凸ソルバーを上回ることができるか？
• RQ2 ホースシェューパイオリの階層的構造が、高次元特徴量選択における効率的な最適化と不確実性の定量化を可能にするか？
• RQ3 ホースシェューレギュライゼーションは、SCAD や MCP と比較して、変数選択の正確性と平均二乗誤差の点で優れているか？
• RQ4 ホースシェューパイオリの理論的性質（例：近似的最小最大推定）が、実用的でスケーラブルなアルゴリズムに活用可能か？
• RQ5 点推定のみと比較して、MCMCを用いた不確実性定量化の計算オーバーヘッドはどの程度か？

主な発見

• ホースシェューレギュライゼーション手法は、合成データおよび実世界のデータにおいて、最先端の非凸ソルバーを上回る優れた統計的性能を達成した。
• EMおよびLLAアルゴリズムのおかげで、既存の非凸ソルバーに比べて計算時間が大幅に短縮された。
• ホースシェューパイオリのスパイクと裾の重い特性のおかげで、真の特徴量を高い正確性で特定し、ノイズ変数をほぼゼロに縮小できた。
• MCMCサンプリングにより信頼性の高い不確実性定量化が可能となり、特徴量包含確率の真の変動を反映した信頼区間が得られた。
• ホースシェューパイオリの階層的表現により、組み合わせ的探索を伴わずに安定的かつ高速な後部モード推定が実現された。
• 理論的解析により、適切な正則化条件の下でホースシェューペナルティが最適な推定と選択の一貫性を達成することが確認された。