[論文レビュー] A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification

Min Du, Nesime Tatbul+8 more|arXiv (Cornell University)|Oct 12, 2020

Imbalanced Data Classification Techniques被引用数 5

ひとこと要約

本論文は、不均衡な多クラス分類において、クラス頻度とは一致しないクラスの重要度を考慮できる、スケール感受性評価フレームワーク「重み付きバランス精度（WBA）」を提案する。クラスの希少性やユーザー定義の重要度に基づくカスタマイズ可能なクラス重みを組み込むことで、従来の精度やバランス精度に比べて、ログパース、センチメント分析、URL分類といった実世界のタスクで、より公平な分類器評価とモデル訓練を可能にし、優れた性能を示す。

ABSTRACT

Class distribution skews in imbalanced datasets may lead to models with prediction bias towards majority classes, making fair assessment of classifiers a challenging task. Metrics such as Balanced Accuracy are commonly used to evaluate a classifier's prediction performance under such scenarios. However, these metrics fall short when classes vary in importance. In this paper, we propose a simple and general-purpose evaluation framework for imbalanced data classification that is sensitive to arbitrary skews in class cardinalities and importances. Experiments with several state-of-the-art classifiers tested on real-world datasets from three different domains show the effectiveness of our framework - not only in evaluating and ranking classifiers, but also training them.

研究の動機と目的

• クラス頻度とは一致しないクラスの重要度がある場合、従来の指標が不均衡な多クラス分類器の評価において限界を示す問題に対処すること。
• 多様な応用分野に一般化可能で、シンプルかつ拡張性のある評価フレームワークを設計すること。
• 非一様なクラス重要度を性能指標に組み込むことで、分類器の公平な比較評価を可能にすること。
• WBAフレームワークが、重み付き損失関数を用いて評価とモデル訓練の両方で有効に機能することを実証すること。

提案手法

• カスタマイズ可能なクラス重みを組み込むことで、バランス精度を一般化したスカラー指標として「重み付きバランス精度（WBA）」を提案する。
• クラスの希少性（WBA_rarity）またはユーザー定義の重要度（WBA_user）に基づく重みを用い、クラスの相違する重要度を反映する。
• 対応するクラス重みを損失関数に組み込むことで、WBA指標を評価と訓練の両方で適用する。
• システムログパース、センチメント分析、URL分類の3つの実世界ドメインでフレームワークを検証する。
• URL分類の実験において、分類器の出力を共通のカテゴリ空間にマッピングし、ベンダー間比較を可能にする。
• 任意の数のクラスや任意の重要度基準に拡張可能なモジュラー設計を採用する。

実験結果

リサーチクエスチョン

• RQ1 多クラス不均衡データにおいて、クラスの頻度の偏りと非一様なクラス重要度の両方に感受性を持つ分類器評価はどのように実現できるか？
• RQ2 クラス頻度と重要度の不一致がある状況下で、従来の指標（Accuracy や Balanced Accuracy）に比べ、汎用的評価指標が分類器の順位付けを改善できるか？
• RQ3 クラス重みを重要度基準に合わせた場合、WBAはモデル訓練をどの程度改善できるか？
• RQ4 WBAは、ログパース、センチメント分析、URL分類といった実世界応用でどの程度の性能を示すか？

主な発見

• 希少性に基づく重みで学習した場合、WBA_rarityは 0.653 から 0.761 に向上し、希少だが重要なクラスの処理において顕著な向上を示した。
• ユーザー定義の重みでマルウェアクラスを優先した場合、WBA_userは 0.640 から 0.752 に上昇し、高影響予測の有効な強化が確認された。
• クラス重みなしの通常学習では、良性クラスの精度は 0.99 に達したが、希少クラス（例：NSFW：0.0）では著しく性能が低く、重み付き学習の必要性が浮き彫りになった。
• WBA_rarityでは分類器Aが他を上回ったが、Accuracyは最高であったDは重要度感受性指標では低い順位に留まり、従来指標による順位付けの誤りが明らかになった。
• URL分類ではDが最高のAccuracyを記録したが、WBA_rarityではBまたはAが優れており、標準指標が実世界の重要度を反映していないことが示された。
• フレームワークにより、訓練段階での有効な再重み付けが可能となり、WBAに基づく損失関数が、代表されないが高影響度のクラスにおける精度を著しく向上させた。