[論文レビュー] A study on cost behaviors of binary classification measures in class-imbalanced problems

Bao-Gang Hu, Weiming Dong|arXiv (Cornell University)|Mar 26, 2014

Imbalanced Data Classification Techniques参考文献 28被引用数 22

ひとこと要約

本稿は、クラス不均衡問題におけるバイナリ分類指標の評価のためのコスト関数に基づく理論的枠組みを提示する。その結果、G-means（正答率）やバランスエラーレート（BER）といった指標は、少数クラスの誤分類に対して高いコストを割り当てる「適切な」コスト行動を示す一方で、F1、精度・再現率のG-means、MCC、Kappaはそうではないことが明らかになった。本研究は、不均衡学習状況における「適切な」性能指標を特定するためのメタ指標基準を確立した。

ABSTRACT

This work investigates into cost behaviors of binary classification measures in a background of class-imbalanced problems. Twelve performance measures are studied, such as F measure, G-means in terms of accuracy rates, and of recall and precision, balance error rate (BER), Matthews correlation coefficient (MCC), Kappa coefficient, etc. A new perspective is presented for those measures by revealing their cost functions with respect to the class imbalance ratio. Basically, they are described by four types of cost functions. The functions provides a theoretical understanding why some measures are suitable for dealing with class-imbalanced problems. Based on their cost functions, we are able to conclude that G-means of accuracy rates and BER are suitable measures because they show "proper" cost behaviors in terms of "a misclassification from a small class will cause a greater cost than that from a large class". On the contrary, F1 measure, G-means of recall and precision, MCC and Kappa coefficient measures do not produce such behaviors so that they are unsuitable to serve our goal in dealing with the problems properly.

研究の動機と目的

• クラス不均衡学習における性能指標がなぜ他の指標よりも優れているかを理解する理論的ギャップを埋めること。
• クラス不均衡比が増加する際のバイナリ分類指標の内在的コスト行動を調査すること。
• 少数クラスのインスタンスを誤分類した場合に、多数クラスの誤分類よりも高いコストが割り当てられるという原則に従い、その適合性を評価するための「メタ指標」基準を定義・適用すること。
• データやアルゴリズムに依存しない、指標の内蔵コスト関数に基づいて「適切」または「不適切」な指標を区別すること。
• コストフリーの不均衡データ分類における学習基準の選択のための理論的基盤を提供すること。

提案手法

• 本研究は、F1、G-means、BER、MCC、Kappaを含む12種類のバイナリ分類指標について、クラス不均衡比に対する正確または近似のコスト関数を導出する。
• 少数クラスの誤分類に対して高いコストを暗黙的に割り当てるかどうかを評価するための新しいメタ指標を導入する。
• 理論的分析により、コスト関数を4つのタイプに分類し、2つの明確な行動パターン（「適切」：少数クラス誤分類に対してより高いペナルティ、「不適切」：少数クラス誤分類に対して等しいか低いペナルティ）を特定する。
• 理論的結果を検証するために、p2 = 0.5, 0.1, 0.01, 0.001, 0.0001, 0.00001 の異なる不均衡比を持つ合成データを用いた数値例を構築する。
• データやアルゴリズムのノイズから独立して、指標の内在的性質を抽出するため、性能ベースの評価よりも関数ベースの評価を優先する。
• 理論的コスト関数分析により、実データセットや学習アルゴリズムに依存せずに、指標の同等性や相違点を比較可能となる。

実験結果

リサーチクエスチョン

• RQ1 なぜ一部の性能指標が、極度に不均衡なバイナリ分類問題において他の指標よりも優れているのか？
• RQ2 クラス不均衡比が増加する際、一般的なバイナリ分類指標の内蔵コスト関数は何か？
• RQ3 どの指標が、少数クラスの誤分類をより重く罰するという原則に従い、その誤りがより高コストであると暗黙的に評価するのか？
• RQ4 不均衡学習における「適切」と「不適切」な性能指標を区別するためのメタ指標をどのように定義できるか？
• RQ5 理論的コスト行動が、指標間の実世界での性能差をどの程度まで予測できるか？

主な発見

• 正答率のG-meansとバランスエラーレート（BER）は、少数クラスの誤分類に対して高いコストを割り当てる「適切な」コスト行動を示し、不均衡問題に適している。
• F1指標、精度と再現率のG-means、マシューフォーカス係数（MCC）、カッパ係数は、適切なコスト行動を示さず、したがって不均衡学習には「不適切」である。
• コスト関数分析により、BERと正答率のG-meansは理論的に同等のコスト行動を示し、両者ともメタ指標基準を満たしていることが明らかになった。
• 数値結果は、BERと正答率のG-meansが、不均衡比が増加するに従って安定的かつ最適な意思決定境界を維持している一方で、F1とG_PRは性能が劣化することを確認した。
• 本研究は、A_T（全体正答率）やF1が「不適切」であることを示した。なぜなら、これらは少数クラスの誤分類に対してペナルティを増加させないため、不均衡状況下でモデル品質が低下する可能性がある。
• 理論的枠組みにより、データやアルゴリズムに依存しない学習基準の選択の根拠が得られ、機械学習における主な問題は「何を学ぶか」であることが強調された。