[論文レビュー] Minimal Support Vector Machine

Shuai Zheng, Chris Ding|arXiv (Cornell University)|Apr 6, 2018

Face and Expression Recognition参考文献 10被引用数 5

ひとこと要約

本稿では、スラック変数にL0.5ノルムを適用することでサポートベクタの数を最小化し、分類精度を向上させるMinimal SVM（Minimal SVM）を提案する。目的関数の再定式化とモーメンタムを用いた勾配降下法を適用することで、標準SVMと比較して7つの二値分類タスクにおいて、より少ないサポートベクタと向上した一般化性能を達成した。

ABSTRACT

Support Vector Machine (SVM) is an efficient classification approach, which finds a hyperplane to separate data from different classes. This hyperplane is determined by support vectors. In existing SVM formulations, the objective function uses L2 norm or L1 norm on slack variables. The number of support vectors is a measure of generalization errors. In this work, we propose a Minimal SVM, which uses L0.5 norm on slack variables. The result model further reduces the number of support vectors and increases the classification performance.

研究の動機と目的

• サポートベクタの数を削減することにより、より良い一般化性能と予測能力を達成すること。
• 標準SVMにおけるサポートベクタ数が罰則パrameter Cに対して感度が低いという問題を解消すること。
• 新しい正則化アプローチにより、サポートベクタの数を最小化することで分類精度を向上させること。
• 非凸なL0.5ノルムに基づく目的関数を効率的に解く最適化アルゴリズムの開発すること。

提案手法

• スラック変数にL0.5ノルムを用いた新しい目的関数を提案：min (1/2)||w||² + C Σ ξi^0.5 を、yi(wᵀxi + b) ≥ 1 - ξi および ξi ≥ 0 の制約のもとで最小化する。
• 非凸性を扱えるようにスムージング補助関数を導入し、勾配に基づく最適化を可能にする。
• 勾配降下法にモーメンタムを適用することで、収束性と安定性を向上させる。
• 最適化の簡略化と数値安定性の維持を目的に、変数変換（w′およびx′）を導入する。
• ラグランジュの双対性とKKT条件を用いて双対形式とwおよびbの更新則を導出する。
• 反復的アルゴリズム（式(27)～(28)）を用いて、プライマル問題を効率的に解く。

実験結果

リサーチクエスチョン

• RQ1 スラック変数にL0.5ノルムを適用することで、標準のL1またはL2ノルムと比較して、サポートベクタの数を顕著に削減できるか？
• RQ2 L0.5正則化によるサポートベクタ数の削減が、分類精度の向上に寄与するか？
• RQ3 提案されたMinimal SVMにおけるサポートベクタ数は、罰則パrameter Cに対して標準SVMと比較してどれほど感度を示すか？
• RQ4 非凸なL0.5ノルムに基づく目的関数に対して、効率的な最適化アルゴリズムを開発できるか？

主な発見

• Minimal SVMは、7つの二値分類タスク全体で平均して40％のサポートベクタ削減を達成した。
• MSRCデータセットでは、サポートベクタを38.20から22.40に削減し、テスト精度を0.67から0.72に向上させた。
• ATTデータセットでは、サポートベクタが11.00から2.00に減少し、テスト精度が0.85から0.90に上昇した。
• すべてのケースにおいて、標準SVMとMinimal SVMの重みベクトルのなす角度は7度未塔であった。これは、類似したが異なる決定境界を示していることを意味する。
• 重みベクトル間の正規化されたユークリッド距離は0.15未満であった。これは、サポートベクタ数の違いがあるにもかかわらず、パラメータ空間ではモデルが近くにあることを示している。
• アルゴリズム1は、全4つのデータセットで50イテレーション以内に収束した。これは、提案された最適化手法の高速収束性を示している。