[論文レビュー] Confidence sets with expected sizes for Multiclass Classification

Christophe Denis, Mohamed Hebiri|arXiv (Cornell University)|Aug 31, 2016

Machine Learning and Algorithms参考文献 11被引用数 12

ひとこと要約

本稿では、予測ラベルの集合（信頼集合）を出力する新しい多クラス分類手法を提案する。単一のラベルではなく、信頼集合を出力することで、期待される集合のサイズをユーザーが指定したレベルβで制御する。凸な代替リスクを最小化し、ラベルなしデータを用いたキャリブレーションにより、Tsybakovのマージン条件の下で最適な分類誤差率を達成し、クラス数Kに線形に比例する収束速度を示す。

ABSTRACT

Multiclass classification problems such as image annotation can involve a large number of classes. In this context, confusion between classes can occur, and single label classification may be misleading. We provide in the present paper a general device that, given an unlabeled dataset and a score function defined as the minimizer of some empirical and convex risk, outputs a set of class labels, instead of a single one. Interestingly, this procedure does not require that the unlabeled dataset explores the whole classes. Even more, the method is calibrated to control the expected size of the output set while minimizing the classification risk. We show the statistical optimality of the procedure and establish rates of convergence under the Tsybakov margin condition. It turns out that these rates are linear on the number of labels. We apply our methodology to convex aggregation of confidence sets based on the V-fold cross validation principle also known as the superlearning principle. We illustrate the numerical performance of the procedure on real data and demonstrate in particular that with moderate expected size, w.r.t. the number of labels, the procedure provides significant improvement of the classification risk.

研究の動機と目的

• 高次元で多クラスな問題においてクラスの混同が一般的な状況で、単一ラベル分類の限界を克服すること。
• 単一ラベルではなく複数の予測ラベル（信頼集合）を出力するフレームワークを構築し、耐障害性と解釈可能性を向上させること。
• 信頼集合の期待サイズをβに制御し、精度とカバレッジのバランスを取ること。
• Tsybakovのマージン条件の下で分類リスクを最小化することで統計的最適性を保証すること。
• ラベル付きデータをスコア推定に、ラベルなしデータを分布キャリブレーションに用いることで、半教師あり学習を可能にすること。

提案手法

• 信頼集合Γを、入力Xからクラスラベル集合Y = {1,…,K}の部分集合への関数として定義し、期待サイズE[|Γ(X)|] ≈ βとする。
• 非凸な0/1損失の代わりに凸な代替リスク関数を導入し、効率的な最適化を可能にする。
• 2段階の手順を採用する：まず、ラベル付きデータ上で経験的リスク最小化によりスコア関数f_k(X)を推定する。次に、ラベルなしデータを用いてスコアの累積分布関数をキャリブレーションする。
• 推定されたf_k(X)の累積分布関数がβを超える場合、クラスkをΓ(X)に含める。
• V-フォールド交差検証を適用し、複数の信頼集合を統合する。これにより、多クラス設定へのスーパーレーニングの原則を一般化する。
• Tsybakovのマージン仮定の下で、経験的リスク最小化器と最適な信頼集合との間のオракル不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 期待されるサイズを制御しつつ、多クラス分類における信頼集合をどのように構築すればよいか？
• RQ2 Tsybakovのマージン条件の下で、このような信頼集合の統計的最適性は何か？
• RQ3 この手法は、ラベルなしデータによるキャリブレーションのみを用いて、半教師ありに実装可能か？
• RQ4 V-フォールド交差検証による信頼集合の集約は、個々のモデルと比較して性能をどのように向上させるか？
• RQ5 提案手法の収束速度は何か？また、クラス数Kにどのように依存するか？

主な発見

• 提案手法は、Tsybakovのマージン条件の下で最適な分類誤差率を達成し、収束速度はクラス数Kに線形に比例する。
• 信頼集合の期待サイズはβに制御されており、この制約のもとで経験的信頼集合が分類リスクを最小化することを保証する。
• オラクル不等式により、経験的信頼集合の過剰リスクが、スコア関数クラスの複雑さと標本サイズに依存する項によって上界で抑えられることを示す。
• 本手法は半教師あり学習に対応している：ラベル付きデータはスコア関数の学習に、ラベルなしデータは累積分布関数の推定に用いられ、完全なクラスカバレッジを必要としないキャリブレーションが可能になる。
• V-フォールド交差検証による集約（スーパーレーニング）により、中程度の期待集合サイズであっても、実データセット上で一貫した性能向上が得られる。
• 数値実験により、クラス数に対して中程度の期待集合サイズを持つ信頼集合を用いることで、分類リスクが顕著に改善されることが示された。