[論文レビュー] Consistent Algorithms for Multiclass Classification with a Reject Option

Harish G. Ramaswamy, Ambuj Tewari+1 more|arXiv (Cornell University)|May 15, 2015

Face and Expression Recognition参考文献 23被引用数 10

ひとこと要約

本稿では、分類器がコスト α で予測を控えることができる多クラス分類における一貫性のあるアルゴリズムを提案する。Crammer-Singer 法および one-vs-all ハンギング損失を用い、修正された予測子を組み合わせることで、二値の一貫性手法を n クラス問題へ一般化する。また、α = 1/2 で一貫性を達成し、既存手法よりも効率性とスケーラビリティに優れる低次元凸サロゲート（BEP）を新たに導入する。

ABSTRACT

We consider the problem of $n$-class classification ($n\geq 2$), where the classifier can choose to abstain from making predictions at a given cost, say, a factor $α$ of the cost of misclassification. Designing consistent algorithms for such $n$-class classification problems with a `reject option' is the main goal of this paper, thereby extending and generalizing previously known results for $n=2$. We show that the Crammer-Singer surrogate and the one vs all hinge loss, albeit with a different predictor than the standard argmax, yield consistent algorithms for this problem when $α=\frac{1}{2}$. More interestingly, we design a new convex surrogate that is also consistent for this problem when $α=\frac{1}{2}$ and operates on a much lower dimensional space ($\log(n)$ as opposed to $n$). We also generalize all three surrogates to be consistent for any $α\in[0, \frac{1}{2}]$.

研究の動機と目的

• 拒否オプションを伴う多クラス分類を形式化し、新たな評価指標である abstain(α) 損失を導入すること。
• 二値分類における一貫性学習理論を、拒否オプション付きの多クラス分類へ拡張すること。
• クラスラベルの二進符号化を用い、log₂(n) 次元空間で動作する新しい凸サロゲート（BEP）を設計し、n 次元手法よりも効率性を向上させること。
• α = 1/2 の条件下で、Crammer-Singer 法および OVA ハンギング損失のサロゲートが、修正された予測ルールを用いることで一貫性を示すことを証明すること。
• Crammer-Singer 法、OVA ハンギング損失、BEP のすべてのサロゲートを、α ∈ [0, 1/2] の任意の値に対して一貫性を持つように一般化すること。

提案手法

• 正しく予測された場合に損失が 0、誤分類の場合は 1、拒否の場合は α となる abstain(α) 損失関数を提案する。
• ベイズ最適分類器 h*α(x) を定義し、max_y px(y) ≥ 1−α を満たす場合にのみ、argmax_y px(y) のクラスを予測し、そうでない場合は拒否する。
• Crammer-Singer 法および one-vs-all ハンギング損失が、信頼度に閾値を適用する修正された予測子と組み合わせることで、一貫性のあるアルゴリズムを生成することを示す。
• クラスラベルの二進符号化を用い、log₂(n) 次元空間で動作する凸的かつ区分線形なサロゲートである Binary Encoded Predictions (BEP) を導入する。
• abstain 損失と BEP、Crammer-Singer、OVA のサロゲートとの間の過剰リスクバインディングを導出し、適切な閾値設定のもとで一貫性を証明する。
• 予測子における閾値設定ルールを調整することにより、Crammer-Singer 法、OVA ハンギング損失、BEP のすべてのサロゲートを、α ∈ [0, 1/2] の任意の値に対して一貫性を持つように一般化する。

実験結果

リサーチクエスチョン

• RQ1 既知の二値結果を拡張し、凸サロゲートを用いて拒否オプション付きの多クラス分類の一貫性を達成できるか？
• RQ2 n 次元ではなく log₂(n) 次元で動作する低次元サロゲートを構築でき、abstain(1/2) 損失に対して一貫性を保つことができるか？
• RQ3 Crammer-Singer 法や one-vs-all ハンギング損失といった標準的な多クラスサロゲートが、拒否オプションに対応するように修正された場合、依然として一貫性を示すか？
• RQ4 BEP サロゲートの性能は、精度、学習時間、スケーラビリティの観点で既存手法と比較してどうか？
• RQ5 これらのサロゲートの一貫性は、α = 1/2 に限定されず、α ∈ [0, 1/2] のすべての値に対して拡張可能か？

主な発見

• BEP サロゲートは、log₂(n)-次元空間で動作しながら、abstain(1/2) 損失に対して一貫性を達成し、モデルの複雑さを顕著に低減する。
• Crammer-Singer 法および one-vs-all ハンギング損失は、信頼度に閾値を適用する修正された予測子と組み合わせることで、標準的な多クラス分類では一貫性を示さないものの、拒否オプション付きでは一貫性を示す。
• BEP サロゲートは、学習する関数の数が log₂(n) 個に制限されるため、CS や OVA よりも高速であり、n が増加するにつれて速度向上の要因が強化される可能性がある。
• 実験結果では、BEP は OVA や CS と同等またはそれ以上の精度を達成しており、特に 20% および 40% の拒否率の条件下で顕著な優位性を示し、多数のデータセットで最小の誤差を記録した。
• 過剰リスクバインディングは、極端な閾値（例：CS/BEP では τ=0、OVA では τ=−1）で崩壊するため、閾値選択の理論的限界を確認した。
• 実際の実装では BEP が最も高速であり、covertype のような大規模データセットでは、CS より最大 7 倍、OVA より最大 3 倍の高速化が達成された。