[論文レビュー] On the Calibration of Multiclass Classification with Rejection

Chenri Ni, Nontawat Charoenphakdee+2 more|arXiv (Cornell University)|Jan 30, 2019

Imbalanced Data Classification Techniques被引用数 9

ひとこと要約

本稿は、多クラス分類におけるリジェクトを検討し、滑らかな損失関数（例：交差エントロピー）を用いた信頼度ベースの手法と、分類器・リジェクター訓練手法の2つのアプローチについて、キャリブレーションの保証を提案する。実証的に、分類器・リジェクター手法は多クラス設定においてきびしい条件を満たせないためキャリブレーションに失敗するが、滑らかな損失関数を用いた信頼度ベースの手法はベイズ最適なキャリブレーションを達成することが示された。ベンチマークデータセットを用いた実験でもその有効性が裏付けられた。

ABSTRACT

We investigate the problem of multiclass classification with rejection, where a classifier can choose not to make a prediction to avoid critical misclassification. First, we consider an approach based on simultaneous training of a classifier and a rejector, which achieves the state-of-the-art performance in the binary case. We analyze this approach for the multiclass case and derive a general condition for calibration to the Bayes-optimal solution, which suggests that calibration is hard to achieve by general loss functions unlike the binary case. Next, we consider another traditional approach based on confidence scores, in which the existing work focuses on a specific class of losses. We propose rejection criteria for more general losses for this approach and guarantee calibration to the Bayes-optimal solution. Finally, we conduct experiments to validate the relevance of our theoretical findings.

研究の動機と目的

• 多クラス分類におけるリジェクトの理論的限界、特にキャリブレーションに関する理解を深めること。
• 多クラス問題における分類器・リジェクター訓練手法のキャリブレーション可能性を分析すること。
• 信頼度スコアと滑らかな損失関数を用いて、二値分類からのキャリブレーション保証の多クラスへの拡張を図ること。
• 標準的な多クラスデータセットを用いた実験を通じて理論的知見を検証すること。

提案手法

• 多クラス分類における分類器・リジェクター手法の一般化されたキャリブレーション条件を提案し、二値の場合を除いて満たすことが難しいことを示した。
• 滑らかな損失関数（例：ロジスティック、二乗、指数、交差エントロピー）から導出される信頼度スコアに基づくリジェクト基準を導入した。
• 広範な滑らかな損失関数のクラスに対して、信頼度ベース手法が多クラス設定でベイズ最適解へのキャリブレーションを達成することを証明した。
• 無限サンプルにおける一様性（キャリブレーション）を保証する点ごとのリスク最小化条件を導出した。
• 複数の手法（APC、MPC、OVA、CE）を、letter、vehicle、satimage、yeast、covtypeなどのデータセットで、さまざまなリジェクトコストを想定して実験的に評価した。
• 10回の試行におけるリジェクト率と精度の平均および標準偏差を用い、理論的予測の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 分類器・リジェクター手法は多クラス分類においてキャリブレーション可能か？ その条件は何か？
• RQ2 なぜ分類器・リジェクター手法は二値の場合と比べて多クラス設定でキャリブレーションが困難なのか？
• RQ3 滑らかな損失関数（例：ロジスティック、指数、交差エントロピー）を用いた信頼度ベースのリジェクトは、多クラス分類においてキャリブレーションを保証できるか？
• RQ4 さまざまなリジェクトコスト下で、異なる損失関数（ロジスティック、指数、交差エントロピー）の実用的性能はどのように異なるか？
• RQ5 信頼度ベース手法の理論的キャリブレーション保証は、多様な多クラスデータセットにおいて実験的にも成立するか？

主な発見

• 分類器・リジェクター手法は、多クラス分類においてきびしい条件を満たせないため、キャリブレーションに失敗する。
• 滑らかな損失関数（例：交差エントロピー、ロジスティック）を用いた信頼度ベース手法は、多クラス分類においてベイズ最適解へのキャリブレーションを保証する。
• 実験結果から、交差エントロピーに基づく信頼度手法は、特に低リジェクトコスト（例：0.05–0.1）において高い精度と安定したリジェクト率を達成しており、他の手法を上回った。
• APC+logおよびOVA+log手法は、letterおよびvehicleデータセットで優れた性能を示し、c=0.05におけるリジェクト率は0.7–0.8、精度は0.99以上を記録した。
• 分類器・リジェクター手法（例：APC+exp）は、yeastやcovtypeといった高クラス数のデータセットで著しく性能が低下し、リジェクトコストが高くなると（例：c=0.4）精度が著しく低下した。
• OVA+hin手法は、yeastおよびcovtypeで性能が低く、リジェクト率の標準偏差が大きく（例：c=0.4のyeastでは0.3448）、不安定さが顕著に現れた。