[論文レビュー] Classification with Sparse Overlapping Groups

Nikhil Rao, Robert D. Nowak+2 more|arXiv (Cornell University)|Feb 18, 2014

Sparse and Compressive Sensing Techniques参考文献 32被引用数 8

ひとこと要約

本稿では、類似性に基づく重複するグループからの特徴選択を可能にする凸最適化フレームワークとして、スパースオーバーラップグループ（SOG）lassoを導入する。これは高次元分類において構造的スパarsityを実現するものであり、スパースグループlassoにおける最初のモデル選択誤差バウンドを確立する。lassoおよびグループlassoを一般化し、fMRI、MEG、遺伝子発現タスクにおける実データおよび合成データにおいて優れた性能を示す。

ABSTRACT

Classification with a sparsity constraint on the solution plays a central role in many high dimensional machine learning applications. In some cases, the features can be grouped together so that entire subsets of features can be selected or not selected. In many applications, however, this can be too restrictive. In this paper, we are interested in a less restrictive form of structured sparse feature selection: we assume that while features can be grouped according to some notion of similarity, not all features in a group need be selected for the task at hand. When the groups are comprised of disjoint sets of features, this is sometimes referred to as the "sparse group" lasso, and it allows for working with a richer class of models than traditional group lasso methods. Our framework generalizes conventional sparse group lasso further by allowing for overlapping groups, an additional flexiblity needed in many applications and one that presents further challenges. The main contribution of this paper is a new procedure called Sparse Overlapping Group (SOG) lasso, a convex optimization program that automatically selects similar features for classification in high dimensions. We establish model selection error bounds for SOGlasso classification problems under a fairly general setting. In particular, the error bounds are the first such results for classification using the sparse group lasso. Furthermore, the general SOGlasso bound specializes to results for the lasso and the group lasso, some known and some new. The SOGlasso is motivated by multi-subject fMRI studies in which functional activity is classified using brain voxels as features, source localization problems in Magnetoencephalography (MEG), and analyzing gene activation patterns in microarray data analysis. Experiments with real and synthetic data demonstrate the advantages of SOGlasso compared to the lasso and group lasso.

研究の動機と目的

• 特徴が重複するグループに分けられる状況において、従来のlassoおよびグループlassoの限界を克服し、類似する特徴グループに基づく構造的スパarsityを可能にする。
• 実世界の状況を反映するように、グループ内での部分的選択を許容する柔軟な特徴選択手法を開発する。
• スパースオーバーラップグループlassoを用いた分類におけるモデル選択誤差に対する理論的保証を提供する。
• fMRI、MEG、遺伝子マイクロアレイ解析など、特徴が自然に重複するグループを形成する応用分野における手法の有効性を示す。

提案手法

• SOGlasso最適化フレームワークを提案する。これはl1正則化と重複するグループlasso正則化を組み合わせた凸計画問題であり、類似した重複する特徴グループにわたるスパarsityを促進する。
• 各グループ内の係数のl1ノルムとグループ間のl2ノルムをペナルティ化する混合ノルムを用い、グループの部分的選択を可能にする。
• ガウス幅と測度濃縮技術を用いてモデル選択誤差バウンドを導出する。特徴相関は共分散行列Σを介して扱う。
• 導出したバウンドがlassoおよびグループlassoの既知の結果に特殊化されることを示し、フレームワークの一般性を検証する。
• 設計行列を共分散行列の平方根で変換することで、相関のある特徴に対応する最適化を適応させる。統計的性質を保持する。
• 解が共分散行列の平方根でスケーリングされた制約集合の下で導出される制約付き最適化定式化を採用し、相関に対してロバストであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 特徴が重複する集合にグループ化される状況において、構造的スパース特徴選択を可能にする凸最適化フレームワークを設計できるか？
• RQ2 特に高次元設定下において、重複グループlassoを用いた分類における理論的誤差バウンドはどのように確立できるか？
• RQ3 SOGlasso手法はlassoおよびグループlassoと比較して、モデル選択の正確性および特徴回復性能において優れているか？
• RQ4 SOGlassoフレームワークは、fMRIや遺伝子発現データなどの現実世界の相関のある特徴を扱えるように一般化できるか？
• RQ5 自然なグループ構造を持つ応用分野において、SOGlasso手法は理論的一貫性を維持し、解釈可能性を向上させるか？

主な発見

• SOGlassoフレームワークは、スパースオーバーラップグループlassoを用いた分類における最初のモデル選択誤差バウンドを達成し、その使用に対する理論的根拠を提供する。
• 誤差バウンドはlassoおよびグループlassoの既知の結果に特殊化され、フレームワークの整合性と一般性を確認する。
• 理論的分析により、必要なサンプル数が共分散行列の条件数、グループ数、およびグループ数の対数に比例して増加することを示す。
• 実データおよび合成データにおける実験結果から、SOGlassoはlassoおよびグループlassoを上回る特徴選択の正確性と分類性能を示す。
• 遺伝子経路や脳ネットワーク内のボクセルなど、重複するグループ構造における関連特徴を効果的に回復し、解釈可能性を向上させる。
• 共分散行列の平方根を用いた設計行列の変換により、特徴相関を考慮した分析が可能となり、現実的なデータ条件においてよりタイトなバウンドが得られる。