[論文レビュー] Diversifying Support Vector Machines for Boosting using Kernel Perturbation: Applications to Class Imbalance and Small Disjuncts

Shounak Datta, Sayak Nag+2 more|arXiv (Cornell University)|Dec 22, 2017

Imbalanced Data Classification Techniques参考文献 25被引用数 4

ひとこと要約

本稿では、RBFカーネルを段階的に変更することで、誤分類された点の周辺での識別能を向上させる、カーネル摂動に基づくブースティングフレームワークKPBoost-SVMを提案する。本手法は、クラス不均衡や小さな分離領域といった局所的なデータの不規則性に焦点を当て、少数クラスやサブコンセプトの分類性能を向上させ、Geometric Small Disjunct Index (GSDI) と呼ばれる新規指標を用いて、多様なデータセットで最先端手法を上回る性能を発揮する。

ABSTRACT

The diversification (generating slightly varying separating discriminators) of Support Vector Machines (SVMs) for boosting has proven to be a challenge due to the strong learning nature of SVMs. Based on the insight that perturbing the SVM kernel may help in diversifying SVMs, we propose two kernel perturbation based boosting schemes where the kernel is modified in each round so as to increase the resolution of the kernel-induced Reimannian metric in the vicinity of the datapoints misclassified in the previous round. We propose a method for identifying the disjuncts in a dataset, dispelling the dependence on rule-based learning methods for identifying the disjuncts. We also present a new performance measure called Geometric Small Disjunct Index (GSDI) to quantify the performance on small disjuncts for balanced as well as class imbalanced datasets. Experimental comparison with a variety of state-of-the-art algorithms is carried out using the best classifiers of each type selected by a new approach inspired by multi-criteria decision making. The proposed method is found to outperform the contending state-of-the-art methods on different datasets (ranging from mildly imbalanced to highly imbalanced and characterized by varying number of disjuncts) in terms of three different performance indices (including the proposed GSDI).

研究の動機と目的

• SVMの安定性とアンサンブル学習における多様性の欠如により、クラス不均衡や小さな分離領域を有するデータセットで性能が劣るという課題に対処する。
• 誤分類が生じやすい領域に的を絞ることができない従来のリサンプリング法やカーネル摂動法の限界を克服する。
• 誤分類された点の周囲でカーネルに起因するリーマン計量の分解能を向上させる、新たな適応的カーネル摂動戦略を提案する。
• 少数代表のサブコンセプトにおける性能を定量的に評価するため、Geometric Small Disjunct Index (GSDI) と呼ばれる新規指標を導入する。
• 分類器選択のための多基準意思決定手法を用いて、最先端のアルゴリズムと公平に比較し、提案手法の優位性を実証する。

提案手法

• 各ブースティングラウンドにおいて、RBFカーネルのパラメータσを変更することで、誤分類されたインスタンスの周囲での局所的分解能を向上させるカーネル摂動を適用する。
• 誤分類点の近傍におけるペairワイズ距離を拡大する動的カーネル更新ルールを用い、新たなサポートベクターの生成と多様な決定境界の形成を促進する。
• カーネルに起因するリーマン計量に基づく幾何的基準を導入し、識別能を高める必要がある領域を特定する。
• ルールベースのシステムに依存しない分離領域検出手法を開発し、データ内に存在する自動的に小さな未代表的サブコンセプトを同定可能にする。
• 誤分類されたサンプルに高い重みを割り当てることで、各ラウンドで誤分類が深刻な領域に注目するブースティングフレームワークを用いて、摂動されたSVMをアンサンブル化する。
• 各タイプのベース分類器の中から最良のモデルを特定するための多基準意思決定手法を用い、SOTA手法との公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 適応的カーネル摂動は、ブースティングフレームワーク内でのSVMの多様性を向上させ、クラス不均衡や小さな分離領域を有するデータセットにおける性能向上に有効に機能するか？
• RQ2 誤分類点の周囲での局所的分解能を向上させるカーネル摂動は、従来のリサンプリング法やグローバルカーネル変更と比較して、SVMのブースティングにおいてどのように優れているか？
• RQ3 提案手法は、ルールベース学習に依存せずに、小さな分離領域をどれほど正確に同定し、分類性能を向上させられるか？
• RQ4 提案されたGeometric Small Disjunct Index (GSDI) は、標準的な指標と比較して、未代表的サブコンセプトにおける性能をどれほど的確に捉えられるか？
• RQ5 提案されたKPBoost-SVMフレームワークは、クラス不均衡度や分離領域の複雑さが異なるデータセットにおいて、一貫して最先端のブースティングおよびアンサンブル手法を上回る性能を示すか？

主な発見

• 提案されたGSDI指標に基づく評価において、KPBoost-SVMはMMDおよびMHDデータセットにおいて、AdaBoost-MLP、RUSBoost、AKS-χ²* といったすべての比較手法を顕著に上回った。
• MMD1データセットでは、KPBoost-SVMがGSDI 1.0000を達成し、すべての手法の中で最高の性能を示し、小さな分離領域における完璧な分類を示した。
• MHD9データセットでは、KPBoost-SVMがGSDI 0.7076を達成し、次に優れた手法（AdaBoost-MLP*）の0.6762を上回り、極めて不均衡なデータにおいても高いロバストネスを示した。
• 全データセット全体での平均GSDIは0.8426を記録し、2番目に優れた手法（AKS-χ²* で0.7329）を顕著に上回り、小さな分離領域における一貫した改善が確認された。
• 提案された分離領域検出手法は、ルールベースの仮定に依存せず、未代表的パターンに対する的確な改善が可能であった。
• 多基準意思決定による分類器選択アプローチにより、各タイプの最良のモデルが選別され、KPBoost-SVMの優位性が多様な実験設定においても堅実に裏付けられた。