[論文レビュー] A Mathematical Programming approach to Binary Supervised Classification with Label Noise

Víctor Blanco, Alberto Japón+1 more|arXiv (Cornell University)|Apr 21, 2020

Advanced Statistical Methods and Models参考文献 35被引用数 7

ひとこと要約

本稿では、SVMを用いた二値教師あり分類のための数学的プログラミング手法を提案し、混合整数線形および非線形計画問題として定式化することで、誤標籠の検出と是正を同時に実行する。この手法は、ラベルノイズ下でも標準SVMを著しく上回り、特に攻撃率が40–50%に達するような高ノイズ条件下でも、UCIレポジトリのベンチマークデータセットで最大10%の精度向上を達成する。

ABSTRACT

In this paper we propose novel methodologies to construct Support Vector Machine -based classifiers that takes into account that label noises occur in the training sample. We propose different alternatives based on solving Mixed Integer Linear and Non Linear models by incorporating decisions on relabeling some of the observations in the training dataset. The first method incorporates relabeling directly in the SVM model while a second family of methods combines clustering with classification at the same time, giving rise to a model that applies simultaneously similarity measures and SVM. Extensive computational experiments are reported based on a battery of standard datasets taken from UCI Machine Learning repository, showing the effectiveness of the proposed approaches.

研究の動機と目的

• 実世界の応用例（スパムフィルタリングや不正検知など）における分類器性能の低下を引き起こすラベルノイズの課題に対処すること。
• 誤標籠のインスタンスを同時に特定し、最適な分離超平面を構築するロバストな分類フレームワークを開発すること。
• ラベル再割り当ての意思決定をSVM最適化プロセスに直接統合することで、一般化性能の向上とマージン最大化を実現すること。
• 特に不均衡なデータセットにおける状況下で、攻撃的ラベル反転の増加レベルに対する手法の性能を評価すること。
• 商用MIPソルバ（例：GUROBI、CPLEX）を用いた実用的で即時解法可能な定式化を提供し、実世界への展開を可能とすること。

提案手法

• 誤標籠再割り当て意思決定をSVM最適化に統合した混合整数非線形計画（MINLP）モデルを定式化し、誤った再割り当てに対してペナルティを課しつつ、マージン最大化と誤分類の最小化を同時に実現する。
• 3つの異なるモデルを導入：RE-SVM（SVM内での再割り当て）、2-median-SVM、2-means-SVM。これらはクラスタリングと分類を組み合わせ、誤標籠の検出と是正を実現する。
• カーネルトリックを用いて非線形分類への拡張を可能とし、より高次元の特徴空間での分離を実現する。
• マージン最大化、誤差最小化、再割り当てコストのバランスを取る二目的最適化フレームワークを採用し、整数変数を用いて観測値が再割り当てされるかどうかを示す。
• 交差検証を用いてハイパーパrameterをキャリブレーションし、各データセットで5分割、5つの攻撃シナリオ、各シナリオで5フォールドの評価を実施する。
• すべてのモデルを商用MIPソルバで解き、標準ベンチマークデータセットへの実用的適用性とスケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 SVMにおけるラベル再割り当てと超平面構築の同時最適化が、ラベルノイズに対するロバスト性を向上させるか？
• RQ2 攻撃的ラベル反転の増加レベル下で、提案手法は標準SVMと比べてどのように性能を発揮するか？
• RQ3 SVMにクラスタリングを統合することで、誤標籠のインスタンス検出能力と分類精度が向上するか？
• RQ4 2-median-SVM や 2-means-SVM といったより複雑なモデルを用いる場合、精度向上と計算時間のトレードオフはどのようなものか？
• RQ5 提案されたMIPベースの手法は、実世界のデータセットにおいても、市販のソルバで効果的に解けるか？

主な発見

• 提案モデルは、テストされたすべてのデータセットで標準SVMを一貫して上回り、やや強いノイズ（20%）下では3–5%の精度向上、重度のノイズ（50%）下では最大10%の向上を達成する。
• RE-SVMは、すべてのノイズレベルで標準SVMを上回る性能を示し、50%ノイズ下でBreastCancerおよびVertebralデータセットで5–10%の向上を達成する。
• 2-median-SVM および 2-means-SVM は、高ノイズ（40–50%）条件下でRE-SVMを上回り、Vertebralデータセットでは最大10%の高い精度を達成する。
• ボックスプロット分析（図5）により、RE-SVMはSVMよりもより狭い性能分布を示す一方、2-median-SVM および 2-means-SVM は攻撃下でもさらに安定した性能を示す。
• 商用MIPソルバ（例：GUROBI、CPLEX）を用いてモデルが解けることから、実用的かつスケーラブルな実装が可能であることが確認された。
• 本手法は、False positivesが高コストとなる不均衡データセット（Heart、BreastCancerなど）において特に有効であり、標準SVMがノイズ下で失敗する状況でも効果を発揮する。