[論文レビュー] Learning a Fuzzy Hyperplane Fat Margin Classifier with Minimum VC dimension

Jayadeva, Sanjit Singh Batra+1 more|arXiv (Cornell University)|Jan 11, 2015

Face and Expression Recognition参考文献 9被引用数 3

ひとこと要約

本稿では、VC次元の正確な上限を最小化するとともに、ファジィ所属度を組み込んで外れ値の影響を軽減する、新たな分類器であるファジィ最小複雑度マシン（Fuzzy MCM）を提案する。線形計画法により、低VC次元と重み付き誤分類誤差の両方を最適化することで、SVM やファジィSVMと比較して、ベンチマークデータセット上での一般化性能が優れており、サポートベクトルの数が最大15倍も少ない。

ABSTRACT

The Vapnik-Chervonenkis (VC) dimension measures the complexity of a learning machine, and a low VC dimension leads to good generalization. The recently proposed Minimal Complexity Machine (MCM) learns a hyperplane classifier by minimizing an exact bound on the VC dimension. This paper extends the MCM classifier to the fuzzy domain. The use of a fuzzy membership is known to reduce the effect of outliers, and to reduce the effect of noise on learning. Experimental results show, that on a number of benchmark datasets, the the fuzzy MCM classifier outperforms SVMs and the conventional MCM in terms of generalization, and that the fuzzy MCM uses fewer support vectors. On several benchmark datasets, the fuzzy MCM classifier yields excellent test set accuracies while using one-tenth the number of support vectors used by SVMs.

研究の動機と目的

• ノイズが多い、または外れ値に敏感なデータ下で、従来のSVMの一般化性能の低さとサポートベクトル数の多さを改善すること。
• 最小複雑度マシン（MCM）フレームワークをファジィ領域へ拡張し、データノイズや外れ値に対する耐性を高めること。
• 一般化性能を向上させるためにVC次元を最小化するとともに、各サンプル固有のファジィ所属度を組み込み、誤分類やノイズの影響を軽減すること。
• SVM やファジィSVMと比較して、顕著に少ないサポートベクトルで高いテスト精度を達成すること。
• VC次元の正確な上限を用いた最小化が、ファジィ分類設定において優れた一般化性能をもたらすことを示すこと。

提案手法

• Fuzzy MCMは、分類器のVC次元の正確な上界を最小化する線形計画法最適化問題を定式化する。
• 誤分類ペナルティがファジィ所属度でスケーリングされた重み付き経験誤差項を導入し、外れ値の影響を低減する。
• 訓練サンプルにファジィ所属度を割り当てることで、各クラスへの属する度合いを反映させ、ノイズが多いか曖昧なサンプルの影響を軽減できる。
• ガウスカーネルを用いた場合、決定関数の閉形式表現が、わずか数個のサポートベクトルからのみ導出される。
• 最適化は、一般化のための低VC次元と、ロバストネスのためのファジィ重み付き誤差の両方をバランスさせる。
• 非線形分類を可能にするために、ガウスカーネルを用いたカーネル化された場合への拡張が行われ、スパarsityを維持する。

実験結果

リサーチクエスチョン

• RQ1 ファジィ分類設定において、VC次元の正確な上限を最小化することは、標準SVMよりも優れた一般化性能をもたらすか？
• RQ2 ファジィ所属度を組み込むことで、外れ値への感受性がどの程度低減され、テスト精度が向上するか？
• RQ3 多様なベンチマークデータセットにおいて、Fuzzy MCMのサポートベクトル数はSVMやファジィSVMと比べてどの程度か？
• RQ4 Fuzzy MCMは、顕著に少ないサポートベクトルで高い精度を達成でき、より単純で解釈性の高いモデルを実現できるか？
• RQ5 Fuzzy MCMは、従来のMCMおよびファジィSVMと比較して、テスト精度とスパarsityの両面で優れているか？

主な発見

• 「haberman」データセットでは、Fuzzy MCMはたった4つのサポートベクトルしか使用せず、SVMの73個を15倍以上も少なくしたが、同等またはより高い精度を達成した。
• 「crx」データセットでは、Fuzzy MCMは92.8個のサポートベクトルを用い、ファジィSVMの404.4個を下回った。テスト精度は71.01%（Fuzzy MCM）対68.84%（ファジィSVM）であった。
• 「pima indian diabetes」データセットでは、Fuzzy MCMは112.8個のサポートベクトルで76.55%のテスト精度を達成し、ファジィSVM（355.4個のサポートベクトル、76.81%の精度）を上回った。
• 全13のベンチマークデータセットにおいて、Fuzzy MCMはファジィSVMと同等またはより高いテスト精度を達成し、常に少ないサポートベクトル数を維持した。
• 「fertility diagnosis」データセットでは、Fuzzy MCMは17.7個のサポートベクトルで91.00%の精度を達成したが、ファジィSVMは39.0個のサポートベクトルで88.00%の精度であった。
• 「haberman」データセットにおいて、4つのサポートベクトルのみで導出されたFuzzy MCMの閉形式決定関数は、極めて高いモデルスパarsityと解釈可能性を示している。