[論文レビュー] Optimizing Cost-Sensitive SVM for Imbalanced Data :Connecting Cluster to Classification

Qiuyan Yan, Shixiong Xia+1 more|arXiv (Cornell University)|Feb 6, 2017

Imbalanced Data Classification Techniques参考文献 9被引用数 7

ひとこと要約

本稿では、類似度行列とハイパーパrameterから推定されたクラスタ確率密度関数を用いてペナルティパラメータCを最適化するコストセンシティブSVM手法PCS-SVMを提案する。この手法により、不均衡データにおけるマイノリティクラスの検出が向上し、実際の石炭・ガス噴出モニタリングデータにおいて99.35%の感度を達成した。従来のコストセンシティブおよびハイブリッド手法を上回る性能を示した。

ABSTRACT

Class imbalance is one of the challenging problems for machine learning in many real-world applications, such as coal and gas burst accident monitoring: the burst premonition data is extreme smaller than the normal data, however, which is the highlight we truly focus on. Cost-sensitive adjustment approach is a typical algorithm-level method resisting the data set imbalance. For SVMs classifier, which is modified to incorporate varying penalty parameter(C) for each of considered groups of examples. However, the C value is determined empirically, or is calculated according to the evaluation metric, which need to be computed iteratively and time consuming. This paper presents a novel cost-sensitive SVM method whose penalty parameter C optimized on the basis of cluster probability density function(PDF) and the cluster PDF is estimated only according to similarity matrix and some predefined hyper-parameters. Experimental results on various standard benchmark data sets and real-world data with different ratios of imbalance show that the proposed method is effective in comparison with commonly used cost-sensitive techniques.

研究の動機と目的

• 石炭・ガス噴出モニタリングのような実世界の応用において、マイノリティの前兆データが極めて稀であるが、極めて重要であるというクラス不均衡の課題に対処すること。
• 経験的または反復的なC値選択に起因するコストセンシティブSVMの限界を克服すること。これは時間のかかる手法であり、理論的根拠に欠ける。
• 類似度行列からの確率密度推定を活用してクラスタ構造を活用することで、マイノリティクラス分類を向上させること。
• 任意のしきい値に依存せず、クラスタ確率に基づいてCを最適化することで、意思決定境界をマジョリティクラスに直接シフトさせる手法を開発すること。
• 標準ベンチマークおよび実世界の不均衡データセットにおいて、感度およびG-mean指標を含め、優れた性能を示すことを実証すること。

提案手法

• 類似度行列と事前に定義されたハイパーパrameterのみを用いて、クラスタ確率密度関数（PDF）を推定し、複雑な密度推定を回避する。
• 正負のクラスにそれぞれ別個のC+およびC−パラメータを導入した修正された双対ラグランジュ最適化を導入し、C+をクラスタPDFに基づいて最適化する。
• SMOアルゴリズムを再定式化し、α更新ルールにクラスタ確率を組み込み、サポートベクター間の類似度とそのクラスタ尤度を関連付ける。
• 誤って負例と分類された正例のサポートベクター（FN-SV）を特定し、クラスタ確率に基づいて再分類することで、意思決定境界をマジョリティクラスにシフトさせる。
• ハイブリッドPCS-SMOTE-SVMでは、多項式カーネルとSMOTEアンダーサンプリングを組み合わせ、マイノリティクラスの表現力と性能をさらに向上させる。
• 正例クラスタの確率密度を最大化することでC+を最適化し、ハイパーパラメータがマイノリティクラス検出を優位に調整できるようにする。

実験結果

リサーチクエスチョン

• RQ1 類似度行列からのクラスタ確率密度推定は、コストセンシティブパラメータの設定に対して原理的で反復処理を要しない方法を提供できるか？
• RQ2 クラスタPDFに基づくCの最適化は、経験的または指標に基づくC選択と比較して、マイノリティクラス検出性能にどの程度優れているか？
• RQ3 提案手法PCS-SVMは、石炭・ガス噴出モニタリングのような極めて不均衡な実世界データにおいて、感度およびG-mean指標をどの程度向上させるか？
• RQ4 PCS-SVMとSMOTEを組み合わせたPCS-SMOTE-SVMは、単独のコストセンシティブまたはサンプリングベースの手法よりも優れた性能を示すか？
• RQ5 クラスタベースのC最適化により、反復的ハイパーパラメータチューニングの必要性を低減できるか、かつ分類精度を維持または向上できるか？

主な発見

• PCS-SVMは、実際の石炭・ガス噴出電磁モニタリングデータセットにおいて99.35%の感度を達成し、SVM（2.11%）およびCS-SVM（65.99%）を著しく上回った。
• PCS-SMOTE-SVMはAUC 0.7770を達成し、SMOTE-SVM（AUC 0.4816）と比較して29.54%の改善を示し、不均衡データにおける優れた一般化性能を示した。
• 標準ベンチマークデータセットにおいて、PCS-SVMはすべてのアルゴリズムレベルのコストセンシティブ手法を上回り、SVM-RUSなどのハイブリッド手法と同等またはそれを上回るG-meanおよびF-measureを達成した。
• 異なるカーネル間で一貫した頑健性を示し、平均評価指標において多項式カーネルとRBFカーネルの間に顕著な性能差が認められなかった。
• PCS-SVMはアルゴリズムレベルの手法の中で最高の平均F-measureおよびG-meanを達成し、3つの評価指標の平均において16のデータセットのうち8つで最高を記録した。
• クラスタPDFに基づくC最適化により、反復的チューニングを要せず、計算コストを削減しながらもマイノリティクラス検出が効果的に向上した。