[論文レビュー] A Note on k-support Norm Regularized Risk Minimization

Matthew B. Blaschko|arXiv (Cornell University)|Mar 26, 2013

Risk and Portfolio Optimization参考文献 14被引用数 4

ひとこと要約

本稿では、分類および回帰を含む複数の機械学習タスクにおけるk-サポートノルム正則化リスク最小化の統一的フレームワークを導入し、実装している。二乗損失、ヒンジ損失、ε-インセンティブ損失などのさまざまな損失関数にk-サポートノルムを適用することで、一般化性能に優れた新しいアルゴリズムを導出し、実験により多様な設定においてℓ₁およびℓ₂正則化よりも一貫した精度および平均二乗誤差の向上を示している。

ABSTRACT

The k-support norm has been recently introduced to perform correlated sparsity regularization. Although Argyriou et al. only reported experiments using squared loss, here we apply it to several other commonly used settings resulting in novel machine learning algorithms with interesting and familiar limit cases. Source code for the algorithms described here is available.

研究の動機と目的

• 二乗損失にとどまらず、より広範な機械学習問題にまでk-サポートノルム正則化を拡張すること。
• SVM、ロジスティック回帰、SVRなどの多様な学習アルゴリズムを、k-サポートノルムを用いて一つのフレームワークに統合・実装すること。
• 複数の損失関数におけるk-サポート正則化モデルの有限標本性能を評価すること。
• k-サポート正則化が、エラスティックネットなどの既存手法よりも構造的スパarsityのタイトな凸緩和を提供することを示すこと。

提案手法

• k-サポートノルムは、ℓ₂とℓ₁に類似したペナルティの凸結合として定義され、重みベクトルの上位k-r-1個および残りのr+1個の最大成分をソート・グループ化することで値が計算される。
• 二乗損失、片側二乗損失、ヒンジ損失、ロジスティック損失、指数損失、絶対損失、ε-インセンティブ損失の各損失関数について、ネステロフの加速近位法に必要な勾配およびリプシッツ定数を導出している。
• 非微分可能な損失（例：ヒンジ損失、ε-インセンティブ損失）を滑らかにするために、ハッバー近似が用いられ、一次順序法による効率的な最適化を可能にしている。
• k ∈ {1,…,d}およびλ ∈ {10⁻¹⁵,…,10⁵}におけるモデル選択をサポートし、最適な正則化を同定している。
• すべてのアルゴリズムは公開されたGitHubリポジトリを通じて実装・提供されており、再現性およびベンチマークが可能である。
• 合成された二値分類タスク（15個の情報特徴量、50個のノイズ特徴量、50件の訓練データ、50件の検証データ、250件のテストデータ）を用いて手法を評価している。

実験結果

リサーチクエスチョン

• RQ1 k-サポートノルム正則化は、二乗損失を超える多様な損失関数においてどのように性能を発揮するか？
• RQ2 構造的スパarsity設定において、k-サポート正則化モデルはℓ₁またはℓ₂正則化モデルよりも優れた一般化性能を達成できるか？
• RQ3 ヒンジ損失やε-インセンティブ損失のような非微分可能な損失を伴うk-サポート正則化モデルの有限標本挙動はいかなるものか？
• RQ4 k-サポートノルムは、エラスティックネットなどの既存の構造的スパarsity手法と比較して、精度およびロバストネスの面でどのように異なるか？

主な発見

• 分類実験において、k-サポートノルム正則化モデルは、すべての損失関数でℓ₁（0.870 ± 0.062）およびℓ₂（0.871 ± 0.071）よりも高い平均正解率（0.883 ± 0.058）を達成した。
• 平均二乗誤差に関しては、k-サポートノルムがℓ₁およびℓ₂を上回り、二乗損失では1.21e2 ± 4.89e1、絶対損失では1.25e2 ± 5.41e1を達成したのに対し、他の正則化手法ではより高い誤差が観測された。
• ハッバー滑らか化ヒンジ損失を用いたk-サポート正則化SVMは、0.890 ± 0.057の正解率を達成し、ℓ₁正則化SVM（0.868 ± 0.069）および標準SVM（0.872 ± 0.063）を上回った。
• k-サポート正則化ε-SVRは、全手法の中で最小のMSE（2.21e2 ± 1.51e1）を達成し、ℓ₁（2.16e2 ± 1.66e1）およびℓ₂（2.25e2 ± 1.56e1）の変種を上回った。
• ハッバー滑らか化を用いることで、非微分可能な損失関数に対してもk-サポート正則化が成功裏に拡張され、ネステロフ法による安定した最適化が可能になった。
• 結果から、k-サポート正則化がℓ₁やℓ₂よりも構造的スパarsityのタイトな凸緩和を提供し、多様な学習タスクにおいて性能向上をもたらすことが示された。