[論文レビュー] Efficient Sparse Group Feature Selection via Nonconvex Optimization

Shuo Xiang, Shen, Xiaotong+1 more|arXiv (Cornell University)|May 23, 2012

Sparse and Compressive Sensing Techniques参考文献 32被引用数 46

ひとこと要約

本稿では、凸代替手法よりも特徴量およびグループ選択の精度を向上させるために、切り捨てられたL1ペナルティを用いた非凸なスパースグループ特徴選択手法を提案する。DCプログラミングと効率的な最適化を活用することで、一貫性のある推定が達成され、合成データおよび実世界のEEGデータにおいて、lasso、グループlasso、スパースグループlassoを凌駆する優れた性能を発揮する。

ABSTRACT

Sparse feature selection has been demonstrated to be effective in handling high-dimensional data. While promising, most of the existing works use convex methods, which may be suboptimal in terms of the accuracy of feature selection and parameter estimation. In this paper, we expand a nonconvex paradigm to sparse group feature selection, which is motivated by applications that require identifying the underlying group structure and performing feature selection simultaneously. The main contributions of this article are twofold: (1) statistically, we introduce a nonconvex sparse group feature selection model which can reconstruct the oracle estimator. Therefore, consistent feature selection and parameter estimation can be achieved; (2) computationally, we propose an efficient algorithm that is applicable to large-scale problems. Numerical results suggest that the proposed nonconvex method compares favorably against its competitors on synthetic data and real-world applications, thus achieving desired goal of delivering high performance.

研究の動機と目的

• 特徴選択精度とパラメータ推定の観点で、凸なスパースグループ特徴選択手法の非最適性を解消すること。
• 特徴とグループのスパarsityを共同で実現する理想的なL0制約モデルにより良い近似を提供する非凸最適化フレームワークの構築。
• オラクル推定量を再構築することで、特徴選択およびパラメータ推定の理論的一貫性を保証すること。
• DCプログラミングと加速勾配法を用いて、大規模問題に適した効率的かつスケーラブルなアルゴリズムの設計。

提案手法

• L0ノルムの近似として、切り捨てられたL1ペナルティ関数 $ J_\tau(z) = \min(|z|/\tau, 1) $ を用いた非凸制約最適化問題を定式化する。
• 差分凸（DC）プログラミングを適用し、非凸制約を2つの凸関数の差に分解する：$ S_1(\bm{x}) - S_2(\bm{x}) $。
• 各反復で、非凸項 $ S_2(\bm{x}) $ を直前の反復におけるアファイン下界近似に置き換えることで、凸部分問題を生成する。
• 得られた凸部分問題を、グループ構造スパarsity制約への効率的な射影を組み合わせた加速勾配法で解く。
• 各反復で、活性な特徴量およびグループを動的に特定するためのサポート集合 $ T_1, T_2, T_3 $ を用い、スパースネスパターンを精緻化する。
• パrameter $ s_1, s_2, \tau $ のチューニングのため、ローバーロスクロスバリデーションおよび5分割交差バリデーションを用いる。

実験結果

リサーチクエスチョン

• RQ1 非凸なスパースグループ特徴選択の定式化は、オラクル推定量に類似した一貫性のある特徴選択およびパラメータ推定を達成できるか？
• RQ2 提案された非凸手法は、lasso、グループlasso、スパースグループlassoといった凸代替手法に比べ、推定および予測精度の面で優れているか？
• RQ3 DCプログラミングに基づくアルゴリズムは、理論的保証を維持しながら、大規模なスパースグループ特徴選択問題を効率的に解くことができるか？
• RQ4 既知のグループ構造を持つ高次元データにおいて、この手法は真のグループ構造をどれほど正確に回復できるか？

主な発見

• 合成データにおいて、本手法は最小の推定誤差（4.6617）と予測誤差（142.18）を達成し、lasso、グループlasso、スパースグループlassoを著しく上回った。
• 本手法はグループ精度0.7848を達成し、lasso（0.5212）、グループlasso（0.5843）、スパースグループlasso（0.5215）を大きく上回り、真のグループの回復が優れていることを示した。
• EEGデータにおいて、本手法は25個の選択グループでの分類精度68.0％を達成し、lasso（67.0％）、グループlasso（62.5％）、スパースグループlasso（65.5％）を精度およびスパarsityの両面で上回った。
• lassoは2068個の特徴量で類似の精度を達成したが、64のすべてのグループを選択しており、グループ構造を活用できなかった。これに対して、本手法はわずか25個のグループのみを選択し、グループ構造を効果的に活用した。
• 本手法は、大規模データ（64グループ、各256特徴量、全16,384次元）を効果的に処理できることを示し、ロバストでスケーラブルであることが確認された。
• 理論的解析により、本手法がオラクル推定量を再構築可能であり、提案された非凸フレームワーク下で一貫性のある特徴選択およびパラメータ推定が保証されることを確認した。