[論文レビュー] Revisiting Data Complexity Metrics Based on Morphology for Overlap and Imbalance: Snapshot, New Overlap Number of Balls Metrics and Singular Problems Prospect

José Daniel Pascual-Triana, David Charte+3 more|arXiv (Cornell University)|Jul 15, 2020

Imbalanced Data Classification Techniques参考文献 88被引用数 21

ひとこと要約

本論文は、分類性能と強い相関を示し、従来の指標よりも優れた重なりの推定を実現する、データの重なりと不均衡度を測る新しいデータ複雑性指標族である「ボールの重なり数」（ONB）を提案する。ONB指標は、データをカバーするために必要なクラス固有のボールの数を測定することで、クラスの重なりと不均衡度を評価する。特に不均衡で重なりのあるデータセットにおいて、形状的複雑性の評価で優れた性能を示し、多ラベル学習やマルチインスタンス学習といった特異な問題への複雑性分析の適応に基盤を提供する。

ABSTRACT

Data Science and Machine Learning have become fundamental assets for companies and research institutions alike. As one of its fields, supervised classification allows for class prediction of new samples, learning from given training data. However, some properties can cause datasets to be problematic to classify. In order to evaluate a dataset a priori, data complexity metrics have been used extensively. They provide information regarding different intrinsic characteristics of the data, which serve to evaluate classifier compatibility and a course of action that improves performance. However, most complexity metrics focus on just one characteristic of the data, which can be insufficient to properly evaluate the dataset towards the classifiers' performance. In fact, class overlap, a very detrimental feature for the classification process (especially when imbalance among class labels is also present) is hard to assess. This research work focuses on revisiting complexity metrics based on data morphology. In accordance to their nature, the premise is that they provide both good estimates for class overlap, and great correlations with the classification performance. For that purpose, a novel family of metrics have been developed. Being based on ball coverage by classes, they are named after Overlap Number of Balls. Finally, some prospects for the adaptation of the former family of metrics to singular (more complex) problems are discussed.

研究の動機と目的

• 既存のデータ複雑性指標が重なりや不均衡度といった単一の特徴に焦点を当てており、それらの複合的影響を捉えられていないという限界を是正すること。
• データ構造をボールの被覆を通じて分析することで、クラスの重なりと不均衡度を同時に推定する、形状に基づく新しい指標族を開発すること。
• これらの新指標が、多様な分類器とデータセットにおいて、実際の分類性能と強い相関を示すかどうかを評価すること。
• 多ラベル学習、マルチインスタンス学習、マルチビュー学習といった特異な分類問題への、形状に基づく複雑性指標の適用範囲を拡張すること。

提案手法

• すべてのデータポイントをカバーするために必要なクラス固有のボールの数を測定することで、データ複雑性を定量化する新しい指標族「ボールの重なり数」（ONB）を提案する。
• ボールを、データポイントを中心とし、同じクラスの最近傍点からの距離を半径とする超球として定義する。これにより、クラス固有の被覆が保証される。
• 重なり領域をカバーするために必要なボールの数を集約してONB指標を計算し、数が多いほど重なりと複雑性が大きいことを示す。
• インスタンスベース、決定木、ベイズ分類器の複数のパラダイムを用いた実験セットを構築し、指標の性能を検証する。
• 一般化を確保するため、制御された重なりと不均衡度を有する人工データセットと、実世界のベンチマークデータセットの両方へONB指標を適用する。
• マルチインスタンス学習では袋の平均を、マルチビュー問題では特徴の相性を用いて、中心点と距離尺度を再定義することでONBを特異な問題に適応させる。

実験結果

リサーチクエスチョン

• RQ1 形状に基づく指標（例：ONB）は、単一特徴に焦点を当てる指標よりも、データ複雑性をより正確かつ包括的に推定できるか？
• RQ2 ONB指標は、多様な学習アルゴリズムとデータセットにおいて、実際の分類性能とどの程度相関しているか？
• RQ3 特に困難な不均衡で重なりのある状況において、ONB指標は重なりと不均衡度をどの程度同時に推定できるか？
• RQ4 ONB指標は、多ラベル学習、マルチインスタンス学習、マルチビュー学習といった特異な分類問題に、どのように適応できるか？
• RQ5 ONB指標は、分類器の性能予測や前処理の必要性の特定において、最先端の複雑性指標を上回る性能を示すか？

主な発見

• 特にONBman_avgが、受信者操作特性曲線の下側面積や幾何平均といった分類性能指標と強い相関を示す。
• ONB指標は、複雑な境界構造を捉える能力に優れ、従来の指標を上回る信頼性の高い重なりの推定を提供する。
• 提案された形状に基づくアプローチは、重なりと不均衡度を1つの複雑性測度に効果的に統合し、データの難易度をより包括的に評価できる。
• ONB指標は、インスタンスベース、決定木、ベイズモデルを含む多様な分類器タイプに対して、強固な性能を示す。
• マルチインスタンス学習や多ラベル学習といった特異な問題へのONBの適応手法は、中心点と距離尺度の戦略的選定により実現可能であり、解釈可能性を維持する。
• 本研究は、特に従来の指標が不足する不均衡で重なりのあるデータセットにおいて、データの形状が複雑性分析に極めて有益な視点を提供することを確立した。