[論文レビュー] Classification with Rejection Based on Cost-sensitive Classification

Nontawat Charoenphakdee, Zhenghang Cui+2 more|arXiv (Cornell University)|Oct 22, 2020

Machine Learning and Data Classification参考文献 55被引用数 8

ひとこと要約

本論文は、クラス事後確率の推定を回避することで、精度の向上と柔軟な損失関数の選択（凸でないものも含む）を可能にする、新しいコスト感受性分類に基づく分類と拒否の手法を提案する。この手法は、任意の分類に適応した損失関数について理論的裏付けを持つ。アプローチは、チョウのルールに整合する最適な拒否意思決定を達成するために、コスト感受性分類器のアンサンブルを用いる。

ABSTRACT

The goal of classification with rejection is to avoid risky misclassification in error-critical applications such as medical diagnosis and product inspection. In this paper, based on the relationship between classification with rejection and cost-sensitive classification, we propose a novel method of classification with rejection by learning an ensemble of cost-sensitive classifiers, which satisfies all the following properties: (i) it can avoid estimating class-posterior probabilities, resulting in improved classification accuracy, (ii) it allows a flexible choice of losses including non-convex ones, (iii) it does not require complicated modifications when using different losses, (iv) it is applicable to both binary and multiclass cases, and (v) it is theoretically justifiable for any classification-calibrated loss. Experimental results demonstrate the usefulness of our proposed approach in clean-labeled, noisy-labeled, and positive-unlabeled classification.

研究の動機と目的

• 医療診断や製品検査などの高リスクな応用における危険な誤分類の課題に対処する。
• クラス事後確率の推定を必要としない分類と拒否の手法を開発する。
• 複雑な修正を要せず、柔軟な（非凸を含む）損失関数の使用を可能にする。
• 二値および多値分類設定の両方において、任意の分類に適応した損失関数について理論的裏付けを提供する。
• コスト感受性学習を通じてチョウの拒否ルールに整合する最適な意思決定境界を達成する。

提案手法

• 拒否を有効な出力クラスとみなすコストパラメータ c を用いて、分類と拒否をコスト感受性分類問題として定式化する。
• 各分類器がマージンベースの損失関数 ϕ を最小化するように、コスト感受性分類器のアンサンブルを用いる。
• 最終的な意思決定ルールを f(x; g*) = argmax_y g_y^*(x) と定義する。ただし、max_y g_y^*(x) > 0 の場合に限る。それ以外の場合は拒否（出力 ⊥）。
• 分類に適応したマージン損失とベイズ最適解の間の理論的関係を活用する。
• 重み付きリスク最小化の最適解 g* が、コスト感受性学習におけるベイズ最適分類器と一致することを保証する。
• ϕ が分類に適応している場合、結果として得られる意思決定ルール f(x; g*) が、チョウの最適拒否ルールと正確に一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 分類と拒否を、事後確率の推定を要せず、コスト感受性分類問題として効果的に定式化できるか？
• RQ2 提案手法は、任意の分類に適応した損失関数において理論的最適性を維持するか？
• RQ3 複雑な再パラメータ化や修正を要せず、非凸損失関数をサポートできるか？
• RQ4 クリーンラベル、ノイズラベル、正例-未ラベル設定のデータにおいて、この手法はどのように性能を発揮するか？
• RQ5 コスト感受性分類器のアンサンブルから導かれる意思決定ルールは、チョウの最適拒否ルールと等価か？

主な発見

• 提案手法は、クラス事後確率の推定を回避し、直接的にコスト感受性分類器から学習することで、最適な分類と拒否を達成する。
• 理論的裏付けがある：損失関数 ϕ が分類に適応している場合、結果として得られる意思決定ルール f(x; g*) は、チョウの最適拒否ルールと正確に一致する。
• 凸および非凸損失関数の両方を、アルゴリズムの変更なしにサポートでき、柔軟なモデル設計を可能にする。
• 実験結果は、クリーンラベル、ノイズラベル、正例-未ラベルデータセットのすべてにおいて優れた性能を示し、頑健性を示している。
• 理論的整合性が保たれる：損失関数が分類に適応していない場合、意思決定ルールはチョウのルールと一致しない可能性がある。これは、キャリブレーションの必要性を示している。
• 本手法は、構造的変更なしに二値分類および多値分類の両方へ適用可能である。