[論文レビュー] General Scaled Support Vector Machines

Xin Liu, Ying Ding+1 more|arXiv (Cornell University)|Sep 27, 2010

Face and Expression Recognition参考文献 13被引用数 4

ひとこと要約

この論文では、超平面を法線方向に平行移動することで、グローバルなデータ分布情報を統合する新しい手法である一般化スケーリングサポートベクターマシン（GS-SVM）を提案する。C-SVMはサポートベクターに依存するが、GS-SVMはデータを超平面の法線方向に射影し、射影スケールが小さいクラス側に意思決定境界をシフトさせることで一般化性能を向上させる。合成データおよび実世界のデータセット（特にC値が低い場合）において、C-SVMを上回る精度を達成し、'spect'データセットでは1.5%の向上を達成した。

ABSTRACT

Support Vector Machines (SVMs) are popular tools for data mining tasks such as classification, regression, and density estimation. However, original SVM (C-SVM) only considers local information of data points on or over the margin. Therefore, C-SVM loses robustness. To solve this problem, one approach is to translate (i.e., to move without rotation or change of shape) the hyperplane according to the distribution of the entire data. But existing work can only be applied for 1-D case. In this paper, we propose a simple and efficient method called General Scaled SVM (GS-SVM) to extend the existing approach to multi-dimensional case. Our method translates the hyperplane according to the distribution of data projected on the normal vector of the hyperplane. Compared with C-SVM, GS-SVM has better performance on several data sets.

研究の動機と目的

• C-SVMの頑健性の限界（サポートベクターにのみ依存し、グローバルなデータ分布を無視する）を是正すること。
• Fengの1次元スケーリングSVM手法を、超平面の平行移動原理を一般化することで多次元データに拡張すること。
• 意思決定境界にローカル（サポートベクター）およびグローバル（射影されたデータスケール）の両方の情報を統合することで、一般化性能を向上させること。
• クラス分散の射影に基づく超平面の平行移動が、低いC値でも分類精度を向上させることを示すこと。

提案手法

• まず、標準的なC-SVMを訓練して、重みベクトルwとバイアスbで定義される初期の超平面を取得する。
• すべてのデータポイントを超平面の法線方向に射影し、各クラスがこの方向に広がる分布スケール（範囲）を推定する。
• Fengの1次元スケーリングSVMの原理を適用し、2つのクラス間の射影スケール比に基づいて、平行移動オフセットΔを計算する。
• 超平面を法線方向にΔだけ平行移動させ、バイアス項bをb + Δに更新するが、超平面の方向は維持する。
• カーネルトリックを用いて、非線形特徴空間への拡張を実現し、変換された空間でも同じ平行移動論理を維持する。
• 10分割交差検証を用いてペナルティパラメータCをチューニングし、線形カーネルおよびガウスカーネルの両方で、GS-SVMの性能をC-SVMと比較する。

実験結果

リサーチクエスチョン

• RQ1 グローバルなデータ分布に基づく超平面の平行移動は、多次元空間におけるC-SVMの一般化性能を向上させることができるか？
• RQ2 射影スケールが小さいクラス側に超平面を平行移動させることで、分類精度とマージン最適化にどのような影響を与えるか？
• RQ3 GS-SVMはC-SVMに比べて低いC値でも優れた性能を発揮するか。これは、構造的リスク最小化の観点から改善が図られたことを示唆する。
• RQ4 GS-SVMは、異なるカーネルタイプを有する多様な実世界データセットにおいて、C-SVMをどの程度上回るか？

主な発見

• 2次元のトイデータセットでは、GS-SVMが97.5%の分類精度を達成し、C-SVMの96.67%を上回り、2点を追加で正しく分類した。
• UCIの'sonar'データセットでは、線形カーネルでC-SVMの73.72%からGS-SVMが75.10%に向上し、ガウスカーネルでは88.47%から89.87%に向上した。
• 'hapatitis'データセットでは、ガウスカーネルを用いたGS-SVMが84.54%の精度を達成したのに対し、C-SVMは83.28%であった。これは一貫した改善を示している。
• 8つのベンチマークデータセットのうち7つでGS-SVMがC-SVMを上回る高い精度を達成し、残りの1つでも性能劣化は発生しなかった。
• この手法により、低いC値でも高い精度が達成可能であり、これは平行移動オフセットΔが高いペナルティ正則化の必要性を軽減していることを示している。