[論文レビュー] Sparse Support Vector Infinite Push

Alain Rakotomamonjy|arXiv (Cornell University)|Jun 27, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用数 14

ひとこと要約

本稿では、順位付け上位問題における埋め込み特徴選択を目的として、無限大ノルムプッシュ損失関数を用いたスパースなサポートベクターマシンを提案する。この手法は、∞-ノルムプッシュ損失関数のための新規な近接作用素を備えた交替方向乗数法（ADMM）を用い、効率的な最適化とスパarsityを実現する。実験の結果、競合手法と比較してより少ない特徴量で上位順位付け性能が優れていることが示された。

ABSTRACT

In this paper, we address the problem of embedded feature selection for ranking on top of the list problems. We pose this problem as a regularized empirical risk minimization with $p$-norm push loss function ($p=\infty$) and sparsity inducing regularizers. We leverage the issues related to this challenging optimization problem by considering an alternating direction method of multipliers algorithm which is built upon proximal operators of the loss function and the regularizer. Our main technical contribution is thus to provide a numerical scheme for computing the infinite push loss function proximal operator. Experimental results on toy, DNA microarray and BCI problems show how our novel algorithm compares favorably to competitors for ranking on top while using fewer variables in the scoring function.

研究の動機と目的

• 正則化された経験的リスク最小化フレームワークを用いて、順位付け上位問題における埋め込み特徴選択を扱う。
• p=∞とするp-ノルムプッシュ損失を組み込み、上位順位のインスタンスに重点を置く。
• スパarsity誘導正則化子を用いてスコア関数のスパarsityを誘導する。
• ADMMと近接作用素を活用した効率的な最適化アルゴリズムを開発する。
• 実世界のデータセットにおいて、最小限の特徴量で高い順位付け性能を達成する。

提案手法

• ∞-ノルムプッシュ損失関数とスパarsity誘導正則化子を組み合わせた正則化された経験的リスク最小化として問題を定式化する。
• 最適化を扱いやすい部分問題に分解するため、交替方向乗数法（ADMM）を適用する。
• 無限大ノルムプッシュ損失関数の近接作用素を計算するための新規な数値スキームを導出する。
• 損失関数および正則化子の両方の近接作用素を用いて反復的最適化を可能にする。
• 可能な限り閉形式での更新により部分問題を解き、計算効率を確保する。
• 滑らかでない成分を扱うために、ADMMフレームワーク内での座標降下型の更新戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 無限大プッシュ損失関数は、上位順位のインスタンスにおける順位付け性能を向上させ得るか？
• RQ2 新規な近接作用素を用いたADMMベースの最適化は、∞-ノルムプッシュ損失に対して効果的か？
• RQ3 本手法は、上位順位の正確性を維持しつつ、どの程度特徴選択においてスパarsityを達成できるか？
• RQ4 特徴量の使用量と順位付け性能の観点から、既存手法と比較してどのように差がつくか？
• RQ5 アルゴリズムはDNAマイクロアレイやBCIを含む多様なデータセットに一般化できるか？

主な発見

• 提案手法は、複数のベンチマークデータセットにおいて順位付け上位タスクで最先端の性能を達成した。
• 競合手法と比較して一貫して少ない特徴量を選択しながら、順位付けの正確性を維持または向上させた。
• 無限大プッシュ損失関数は、上位順位での正しく順位付けされるよう効果的に重点を置き、上位順位での精度が向上したことが実証された。
• ∞-ノルムプッシュ損失関数のための新規な近接作用素により、ADMMフレームワーク内での安定的かつ効率的な最適化が可能になった。
• トゥイ、DNAマイクロアレイ、BCIデータセットにおける実験結果から、本手法のロバストネスとスケーラビリティが確認された。
• アルゴリズムは優れた一般化性能を示し、スパarsityと順位付け品質の両面でベースライン手法を上回った。