[論文レビュー] Sparse Prediction with the $k$-Support Norm

Andreas A. Argyriou, Rina Foygel+1 more|arXiv (Cornell University)|Apr 23, 2012

Sparse and Compressive Sensing Techniques参考文献 20被引用数 127

ひとこと要約

この論文は、スパースネスと$σ_2$-ノルム制約の共通部分の最もタイトな凸緩和として$k$-サポートノルムを導入し、予測性能が向上するエラスティックネットのよりタイトな代替手法を提示する。ノルムは、$k$-スパースで$σ_2$-ノルムが1のベクトルの凸包のゲージとして導出され、サンプル複雑度が$O(k\log d)$にスケーリングされ、緩和のタイトさにおいてエラスティックネットを$\sqrt{2}$の要因で上回る。

ABSTRACT

We derive a novel norm that corresponds to the tightest convex relaxation of sparsity combined with an $\\ell_2$ penalty. We show that this new {\\em $k$-support norm} provides a tighter relaxation than the elastic net and is thus a good replacement for the Lasso or the elastic net in sparse prediction problems. Through the study of the $k$-support norm, we also bound the looseness of the elastic net, thus shedding new light on it and providing justification for its use.

研究の動機と目的

• スパース線形予測子に有界な$σ_2$-ノルムを課した場合の、よりタイトな凸緩和を開発すること。
• スパースネス、$σ_2$-ノルム、および凸緩和の関係を形式化し、ラッソやエラスティックネットといった既存のノルムの限界を解消すること。
• $k$-サポートノルムを、$k$-スパースで単位$σ_2$-ノルムを持つベクトルの凸包のゲージとして導出し、分析すること。
• 実験的に、$k$-サポートノルムがラッソやエラスティックネットよりも優れた予測性能を示すことを検証すること、特に相関のある特徴量の設定において顕著である。
• エラスティックネットの最適$k$-サポートノルムからのずれを境界化することで、その緩和のタイトさが$\sqrt{2}$の要因以内であることを示すこと。

提案手法

• $k$-サポートノルムは、集合$\{w \mid \|w\|_0 \leq k, \|w\|_2 \leq 1\}$の凸包のゲージとして定義され、これは$k$-スパースで$\ell_2$-ノルムが小さいベクトルの最もタイトな凸外挙げである。
• ノルムは、$\ell_1$と$\ell_2$のペナルティを含む双対表現を介して特徴付けられ、まずサポートの選択を行い、その後二次計画法を解く二段階の手続きにより明示的に最適化される。
• $k$-サポートノルムは、$k > 1$のとき、単位球がエラスティックネットの単位球に厳密に含まれるため、エラスティックネットよりも厳密にタイトであることが示された。
• 理論的分析により、$k$-サポートノルムの下での学習のサンプル複雑度が$O(k\log d)$に抑えられ、$\ell_1$-正則化学習の$O(k^2\log d)$よりも優れていることが示された。
• 合成データ、南アフリカ心疾患データ、20 Newsgroupsデータセットを用いた実験により、$k$-サポート、ラッソ、エラスティックネットの比較が行われ、テストセットのMSEと正答率を用いて評価された。
• パラメータチューニングは検証セットを用いた交差検証により実施され、性能はオракル予測子に対する平均二乗誤差で測定された。

実験結果

リサーチクエスチョン

• RQ1 エラスティックネットは、$k$-スパース性と単位$σ_2$-ノルム制約の共通部分の最もタイトな凸緩和であるか？
• RQ2 スパース予測における$σ_2$-ノルム正則化に対して、エラスティックネットよりタイトな凸緩和を構築可能か？
• RQ3 $k$-サポートノルムの下での学習の理論的サンプル複雑度は何か？ また、エラスティックネットやラッソとの比較ではどうなるか？
• RQ4 $k$-サポートノルムは、ラッソやエラスティックネットと比較して、予測精度および係数パターンの安定性においてどのように性能を発揮するか？
• RQ5 緩和のタイトさという観点から、エラスティックネットと最適$k$-サポートノルムとの間の定量的ギャップは何か？

主な発見

• $k$-サポートノルムは、単位$σ_2$-ノルムを持つ$k$-スパースベクトルの集合の最もタイトな凸緩和であり、この集合の凸包を形成する。
• $k$-サポートノルムは、$k > 1$のとき、エラスティックネットよりも厳密にタイトであり、$k$-サポートノルムの単位球はエラスティックネットの単位球に厳密に含まれる。
• $k$-サポートノルムの下での学習のサンプル複雑度は$O(k\log d)$にスケーリングされ、これは$\ell_1$-正則化学習の$O(k^2\log d)$よりも優れている。
• エラスティックネットと$k$-サポートノルムの間のギャップは$\sqrt{2}$の要因で境界づけられており、エラスティックネットは最適緩和からのサンプル複雑度の要因2以内にある。
• 合成データの実験では、$k$-サポートノルムの平均二乗誤差は0.2342であり、ラッソ（0.2746）やエラスティックネット（0.3119）を下回り、より優れた予測性能を示した。
• 20 Newsgroupsデータセットでは、$k$-サポートノルムは73.40%の正答率を達成し、ラッソ（73.02%）やエラスティックネット（72.53%）を上回り、係数の安定性が向上し、解のばらつきが低減した。