[論文レビュー] Optimal Decision-Theoretic Classification Using Non-Decomposable Performance Metrics

Nagarajan Natarajan, Oluwasanmi Koyejo+2 more|arXiv (Cornell University)|May 7, 2015

Imbalanced Data Classification Techniques参考文献 16被引用数 3

ひとこと要約

本稿では、F1 や Jaccard などの非分解可能な指標における意思決定理論的分類の最適性が、真陽性（TP）単調性条件を満たす指標である限り、陽性クラスの条件付き確率の符号付きしきい値処理によって達成されることを確立している。著者らは、最適しきい値を計算するための効率的な O(n³) および O(n²) のアルゴリズムを提案し、計算複雑性を指数的時間から多項式時間に著しく削減するとともに、一貫性を保証し、ベンチマークデータセットにおいてベースラインを上回る性能を示している。

ABSTRACT

We provide a general theoretical analysis of expected out-of-sample utility, also referred to as decision-theoretic classification, for non-decomposable binary classification metrics such as F-measure and Jaccard coefficient. Our key result is that the expected out-of-sample utility for many performance metrics is provably optimized by a classifier which is equivalent to a signed thresholding of the conditional probability of the positive class. Our analysis bridges a gap in the literature on binary classification, revealed in light of recent results for non-decomposable metrics in population utility maximization style classification. Our results identify checkable properties of a performance metric which are sufficient to guarantee a probability ranking principle. We propose consistent estimators for optimal expected out-of-sample classification. As a consequence of the probability ranking principle, computational requirements can be reduced from exponential to cubic complexity in the general case, and further reduced to quadratic complexity in special cases. We provide empirical results on simulated and benchmark datasets evaluating the performance of the proposed algorithms for decision-theoretic classification and comparing them to baseline and state-of-the-art methods in population utility maximization for non-decomposable metrics.

研究の動機と目的

• 非分解可能な指標における経験的効用最大化（EUM）と意思決定理論的分析（DTA）の間の理論的ギャップを埋めること。
• 最適 DTA 分類器が陽性クラスの条件付き確率の符号付きしきい値処理の形を取るための十分条件を同定すること。
• DTA における最適外挿分類のための計算的に効率的で一貫性のある推定器を開発すること。
• 確率順序付けの原則を用いることで、すべての可能なラベル付けの全列挙を避けることにより、計算複雑性を指数的時間から立方時間または二次時間に削減できることを示すこと。

提案手法

• 指標が確率順序付けの原則（PRP）を満たすための十分条件として、TP 単調性という性質を導入する。
• Fβ、Jaccard、および線形分数型ファミリーなどの指標がこの条件を満たすことを証明し、最適分類器が条件付き確率の符号付きしきい値関数であることを保証する。
• 一般の指標に対して O(n³) の複雑性を有する Algorithm 1 と、Fβ や Jaccard などの特殊ケースに対して O(n²) の複雑性を有する Algorithm 2 を開発する。
• 最適意思決定ルールの探索空間を縮小するために、確率順序付けの原則を活用し、全ラベル付けのブルートフォース列挙を回避する。
• DTA における母集団レベルの効用最大化を活用して、最適しきい値の一貫性のある推定器を提案する。
• 有限標本設定における一貫性を保証するために、検証に基づくアプローチを用いて最適しきい値を推定する。

実験結果

リサーチクエスチョン

• RQ1 非分解可能な指標の最適意思決定理論的分類器が、陽性クラスの条件付き確率の符号付きしきい値処理と等価となる条件は何か？
• RQ2 DTA に基づく分類の計算複雑性を指数的時間から多項式時間に削減できるか？
• RQ3 Fβ や Jaccard などの広範な非分解可能な指標クラスに対して確率順序付けの原則を保証する一般的な条件（例：TP 単調性）は存在するか？
• RQ4 提案された DTA に基づくアルゴリズムは、実世界のデータセットにおいて EUM に基づく手法やベースラインしきい値処理法と比較してどの程度の性能を示すか？
• RQ5 特に漸近的状態において、DTA と EUM の最適分類器はどの程度一致するか？

主な発見

• F1 や Jaccard などの多くの非分解可能な指標において、TP 単調性を満たす限り、最適 DTA 分類器は陽性クラスの条件付き確率の符号付きしきい値処理と等価である。
• 一般の指標向けの O(n³) アルゴリズムと、Fβ や Jaccard などの特殊ケース向けの O(n²) アルゴリズムにより、計算複雑性が指数的時間から多項式時間に著しく削減された。
• 実験結果から、提案手法はシミュレーションおよびベンチマークデータセットにおいて、複数の指標で EUM やベースライン手法と同等またはそれ以上の性能を達成している。
• 本手法は 0.5 でのしきい値処理（ベースライン）を常に上回り、特に不均衡な設定において F1 や Jaccard 指標で EUM の性能を模倣または上回っている。
• Fβ と二乗誤差計数（SEC）に関する既知の結果が解析によって再現されており、先行研究と一貫していることが確認された。
• 理論的結果から、確率順序付けの原則を満たす任意の指標に対して、DTA と EUM の最適分類器は漸近的に等価であると示唆されている。