[論文レビュー] Distance-weighted Support Vector Machine

Xingye Qiao, Lingsong Zhang|arXiv (Cornell University)|Oct 11, 2013

Face and Expression Recognition参考文献 23被引用数 3

ひとこと要約

本稿では、データ・ピリングに対する距離重み付き判別（DWD）の頑健性と、不均衡データ設定におけるSVMのバランスの取れた性能を組み合わせたハイブリッド線形分類器、距離重み付きサポートベクターマシン（DWSVM）を提案する。DWSVMは、SVMのヒンジ損失とDWD損失を補助超平面を通じて統合した新たな損失関数を最小化することで、Fisher一貫性、漸近正規性、および高次元・小標本および不均衡データ環境下での優れた分類精度と解釈可能性を達成する。

ABSTRACT

A novel linear classification method that possesses the merits of both the Support Vector Machine (SVM) and the Distance-weighted Discrimination (DWD) is proposed in this article. The proposed Distance-weighted Support Vector Machine method can be viewed as a hybrid of SVM and DWD that finds the classification direction by minimizing mainly the DWD loss, and determines the intercept term in the SVM manner. We show that our method inheres the merit of DWD, and hence, overcomes the data-piling and overfitting issue of SVM. On the other hand, the new method is not subject to imbalanced data issue which was a main advantage of SVM over DWD. It uses an unusual loss which combines the Hinge loss (of SVM) and the DWD loss through a trick of axillary hyperplane. Several theoretical properties, including Fisher consistency and asymptotic normality of the DWSVM solution are developed. We use some simulated examples to show that the new method can compete DWD and SVM on both classification performance and interpretability. A real data application further establishes the usefulness of our approach.

研究の動機と目的

• 従来のSVMが直面する高次元・小標本（HDLSS）データにおけるデータ・ピリング現象を解消し、過学習および不安定な分類方向を回避すること。
• DWDが少数クラスに過敏である問題を解決し、意思決定境界が少数クラスに引き寄せられ、すべての新規観測が多数クラスとして誤分類されるのを防ぐこと。
• DWDのデータ・ピリングに対する頑健性とSVMの不均衡データ処理におけるバランスの取れた性能を併せ持つ統一された線形分類器の開発。
• 正則性条件の下で、Fisher一貫性および漸近正規性といった理論的性質を、提案手法に確立すること。
• シミュレーションおよび実データを通じて、DWSVMがSVMおよびDWDに比べて競争力のある分類性能と向上した解釈可能性を示すことを実証すること。

提案手法

• DWSVM手法は、SVMのヒンジ損失とDWD損失を補助超平面を通じて統合したハイブリッド損失関数を最小化し、分類マージンとクラス重心への距離の両方をバランスさせる。
• 分類方向はDWD損失の最小化により決定され、HDLSS環境下でのデータ・ピリングに対する頑健性を保証する。
• 切片項はSVMの方法で推定され、クラス不均衡に対する感受性が低く、純粋なDWDで見られる多数クラスへのバイアスを回避する。
• 補助超平面を用いた再パrameter化により、2つの損失関数を滑らかに融合し、安定な最適化と理論的分析を可能にする。
• 理論的分析には、正則性条件の下でDWSVM推定量のFisher一貫性および漸近正規性の証明を含み、統計的信頼性を確立する。
• 最適化は修正された部分勾配法を用い、経験過程理論および凸性の議論を用いて収束性および一貫性の結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元環境下で、SVMのデータ・ピリング問題とDWDのクラス不均衡感度の両方を同時に克服できる線形分類器を設計できるか？
• RQ2 ヒンジ損失とDWD損失に基づく提案されたハイブリッド損失関数は、シミュレーションおよび実世界のHDLSSデータにおいて、SVMおよびDWDに比べてより優れた分類精度と安定性を有する分類器を生み出すか？
• RQ3 DWSVM推定量はFisher一貫性および漸近正規性を有しており、大標本における統計的推定量としての信頼性が保証されるか？
• RQ4 DWSVM手法は、クラス不均衡および次元数の変動に応じて、SVMおよびDWDと比較して分類精度および解釈可能性の観点でどのように性能を発揮するか？
• RQ5 DWSVMの理論的性質、例えば一貫性および漸近正規性は、標準的な正則性条件の下で厳密に確立できるか？

主な発見

• DWSVMはSVMで観察されるデータ・ピリング現象を効果的に緩和し、分類方向に沿ったデータポイントのガウス型の投影パターンを維持することで、過学習の低減を示している。
• DWDが少数クラスに引き寄せられる傾向を示さないため、不均衡に対する頑健性を維持し、バランスの取れた分類性能を確保している。
• 次元数 $ d = 300 $ のシミュレーテッドHDLSSデータにおいて、DWSVMはSVMおよびDWDと同等の分類精度を達成し、ベイズルール方向へのより良い整合性を示している。
• 理論的分析により、DWSVM推定量がFisher一貫性および漸近正規性を有することが確認され、信頼できる統計的分類器としての使用を支持する。
• 実データにおける実証的結果は、DWSVMが分類精度においてSVMおよびDWDを上回るか同等であり、安定的かつ整合性のある分類方向のおかげで解釈性が向上していることを示している。
• 極端な不均衡下でも、DWSVMの切片項は $-ty$ に発散せず、クラスサイズの差異に対する頑健性を裏付けている。