[論文レビュー] Weighted second-order cone programming twin support vector machine for imbalanced data classification

Saeideh Roshanfekr, Shahriar Esmaeili+2 more|arXiv (Cornell University)|Jan 1, 2019

Imbalanced Data Classification Techniques参考文献 25被引用数 2

ひとこと要約

本論文は、不均衡データ分類のための重み付き第二順序コーンプログラミングツインサポートベクターマシン（WSOCP-TWSVM）を提案する。グラフベースのアンダーサンプリングを用いて冗長な多数クラスサンプルと外れ値を除去するとともに、SOCP-TWSVM最適化におけるクラス固有の重みを組み合わせることで、ベースライン手法に比べて少数クラスの検出性能と全体的な性能が顕著に向上する。

ABSTRACT

We propose a method of using a Weighted second-order cone programming twin support vector machine (WSOCP-TWSVM) for imbalanced data classification. This method constructs a graph based under-sampling method which is utilized to remove outliers and reduce the dispensable majority samples. Then, appropriate weights are set in order to decrease the impact of samples of the majority class and increase the effect of the minority class in the optimization formula of the classifier. These weights are embedded in the optimization problem of the Second Order Cone Programming (SOCP) Twin Support Vector Machine formulations. This method is tested, and its performance is compared to previous methods on standard datasets. Results of experiments confirm the feasibility and efficiency of the proposed method.

研究の動機と目的

• 不正検出、医療診断、異常検出の分野で一般的に見られる不均衡データセットにおける少数クラスの性能が低いという課題に対処すること。
• 標準SVMおよびTWSVMがクラス不均衡を処理する際に抱える制限を、サンプリング手法とコストセンシティブ学習を統合することで克服すること。
• 一般化性能と公平性を向上させる、不均衡クラスに強い効率的な分類フレームワークの開発。

提案手法

• 多数クラスを、外れ値や不要なサンプルを除去することで削減するグラフベースのアンダーサンプリング手法を適用し、少数クラスのインスタンスを保持する。
• SOCP-TWSVM最適化問題にクラス固有の重みを導入し、多数クラスサンプルの影響を低減するとともに、少数クラスサンプルの影響を強化する。
• 第二順序コーンプログラミング（SOCP）を用いて分類問題を定式化し、強い理論的保証を持つ凸最適化を実現する。
• 局所的な密度と接続性に基づいて、重複する多数クラスサンプルを特定・削除するための近接グラフを用いる。
• マージン感度を制御するため、誤検出および誤検出確率（η1, η2）をSOCP制約のパラメータとして組み込む。
• 効率的な2次コーン最適化を実現するため、SeDuMi MATLABツールボックスを用いて得られた重み付きSOCP-TWSVMモデルを解く。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのアンダーサンプリングは、少数クラスの表現を損なうことなく、多数クラスの冗長性を効果的に低減できるか？
• RQ2 SOCP-TWSVMにクラス固有の重みを組み込むことで、標準TWSVMおよびSVMに比べて不均衡データセットにおける性能が顕著に向上するか？
• RQ3 SMOTE、TWSVM、SOCP-TWSVMといった既存手法と比較して、WSOCP-TWSVMは多様な不均衡データセットにおいて精度とG-meanの面で優れているか？
• RQ4 サンプリングフェーズと重み付き最適化が、学習時間とスケーラビリティに与える影響は何か？
• RQ5 本手法は、線形および非線形カーネル設定の両方で、ベースラインモデルを一貫して上回る性能を発揮できるか？

主な発見

• WSOCP-TWSVMは、Yeast3やPageblocksのような極度に不均衡なデータセットを含む多数のUCIベンチマークデータセットにおいて、平均精度とG-meanが最高を記録した。
• 線形および非線形カーネル設定の両方で、SOCP-TWSVM、SMOTESVM、標準TWSVMを上回った。フリードマン検定により、統計的に有意な改善が確認された。
• Yeast3およびHebermanデータセットでは、他のすべての分類器と比較して優れた性能を示し、挑戦的な不均衡データにおける強力な一般化能力を示した。
• フリードマン検定により、WSOCP-TWSVMは複数のデータセットにおいて精度とG-meanで第1位を獲得しており、競合手法に比べて一貫した顕著な優位性を示した。
• サンプリングフェーズとSOCPの解法により学習時間が延長されたが、性能の向上が計算コストを補って余りあるものであり、特に高不均衡状況下で顕著であった。
• 異なる不均衡比にわたり高いロバストネスを示し、η1とη2をそれぞれ0.4および0.6に設定した際に最適な性能が得られた。