[論文レビュー] A novel sparsity and clustering regularization

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|Oct 18, 2013

Sparse and Compressive Sensing Techniques参考文献 11被引用数 4

ひとこと要約

本稿では、K-スパースな解を強制するとともに、非ゼロ係数を等しい大きさにクラスタリングする新しい正則化子SPARCを提案する。L1ノルムに基づくペナルティに加え、絶対値が最大のK個の成分に限定してℓ∞-ベースのペairワイズペナルティを適用することで、不要な縮小を回避する。K-スパース制約とℓ∞-ベースのペナルティを組み合わせることで、LASSO やエラスティックネット、OSCAR よりも回帰および分類タスクにおいて優れた性能を達成する。

ABSTRACT

We propose a novel SPARsity and Clustering (SPARC) regularizer, which is a modified version of the previous octagonal shrinkage and clustering algorithm for regression (OSCAR), where, the proposed regularizer consists of a $K$-sparse constraint and a pair-wise $\ell_{\infty}$ norm restricted on the $K$ largest components in magnitude. The proposed regularizer is able to separably enforce $K$-sparsity and encourage the non-zeros to be equal in magnitude. Moreover, it can accurately group the features without shrinking their magnitude. In fact, SPARC is closely related to OSCAR, so that the proximity operator of the former can be efficiently computed based on that of the latter, allowing using proximal splitting algorithms to solve problems with SPARC regularization. Experiments on synthetic data and with benchmark breast cancer data show that SPARC is a competitive group-sparsity inducing regularizer for regression and classification.

研究の動機と目的

• OSCARのような既存のグループスパース正則化子は、小さな非ゼロ係数を縮小し、大きな係数を過剰にペナルティ化するという限界があるため、これを是正する。
• 非ゼロ係数の値が縮小されないよう、K-スパarsityの強制と非ゼロ係数の等しい大きさのクラスタリングを別々に制御する正則化子を開発する。
• 既存のOSCARアルゴリズムに基づく近接作用素の計算を活用し、効率的な最適化を実現する。
• 合成データおよび実世界のデータにおいて、特に特徴選択と分類精度の面で優れた性能を示すことを実証する。

提案手法

• SPARCを、K-スパース制約と、絶対値が最大のK個の成分に限定して適用するペairワイズℓ∞ノルムを組み合わせた修正正則化子として提案する。
• 正則化子を φSPARC = ιΣK(x) + λ∑_{i<j∈ΩK(x)} max{|xi|, |xj|} と定義する。ここで ΩK(x) は、x の絶対値が最大のK個の成分のインデックス集合である。
• OSCARの近接作用素（λ1=0の場合）を活用し、SPARCの近接作用素を効率的に計算する：補集合上では proxφSPARC(v) = [proxφOSCAR(0,λ)(vΩK(v)), 0] となる。
• SpaRSAのような近接分離アルゴリズムを用いてSPARC正則化問題を解き、Barzilai-Borwein法に基づく適応的ステップサイズ選択を実施する。
• 評価のために、合成データおよび実際の乳がん遺伝子発現データに本アルゴリズムを適用する。
• 外側のループで目的関数の減少を保証するための受容基準を設定する。

実験結果

リサーチクエスチョン

• RQ1 K-スパースな解を強制するとともに、非ゼロ係数の大きさを等しくする正則化子を設計可能か？
• RQ2 ℓ∞-ベースのクラスタリングペナルティを絶対値が最大のK個の成分に限定することで、OSCARに比べて特徴グループ化の正確性が向上するか？
• RQ3 既存のOSCARソルバを活用して、新しい正則化子の近接作用素を効率的に計算可能か？
• RQ4 合成データおよび実データにおいて、SPARCはLASSO、エラスティックネット、OSCARに比べて特徴選択の正確性、分類性能、グループ化品質の面で優れているか？
• RQ5 SPARCは非ゼロ係数の不要な縮小を低減しながら、モデルの一般化性能を維持または向上させられるか？

主な発見

• 合成データでは、SPARCは最小の平均絶対誤差（MAE = 25.75）と平均二乗誤差（MSE = 5.29）を達成し、LASSO、EN、OSCARを上回った。
• SPARCは最小の選択誤差率（5.50％）と自由度（4.02）を達成し、特徴選択およびグループ化の正確性が優れていることを示した。
• 乳がんデータセットでは、SPARCは最高の分類精度（74.54％）を達成し、LASSO（70.56％）、EN（71.34％）、OSCAR（72.98％）を顕著に上回った。
• SPARCは非ゼロ特徴数（NNZ = 80.78）をOSCAR（120.89）とEN（180.23）より少なく選択しながらも、高い精度と低い自由度（38.12）を維持した。
• 合成データではSPARCが最小の自由度（4.02）を達成し、15個の真の非ゼロ特徴が1つのクラスタに正確にグループ化されたことを示した。
• 両方のデータセットにおいて、真の非ゼロ係数が縮小されないことが、低選択誤差率と高いクラスタリング忠実度の観点から裏付けられた。