[論文レビュー] Consistency of plug-in confidence sets for classification in semi-supervised learning

Christophe Denis, Mohamed Hebiri|arXiv (Cornell University)|Jul 26, 2015

Machine Learning and Algorithms参考文献 25被引用数 13

ひとこと要約

本稿では、誤分類リスクを制限するとともに、拒否確率を正確に制御する半教師あり分類のためのプラグイン型信頼集合手法を提案する。推定された条件付き確率とその経験的分布に基づく信頼集合を構築することで、弱い仮定のもとで漸近的整合性と有限標本の妥当性を達成し、従来の順応的予測と拒否オプションフレームワークに対する理論的裏付けのある代替手法を提供する。

ABSTRACT

Confident prediction is highly relevant in machine learning; for example, in applications such as medical diagnoses, wrong prediction can be fatal. For classification, there already exist procedures that allow to not classify data when the confidence in their prediction is weak. This approach is known as classification with reject option. In the present paper, we provide new methodology for this approach. Predicting a new instance via a confidence set, we ensure an exact control of the probability of classification. Moreover, we show that this methodology is easily implementable and entails attractive theoretical and numerical properties.

研究の動機と目的

• 拒否確率と誤分類リスクの両方の制御が欠落している、従来の拒否オプション付き分類手法の限界を是正すること。
• 分類例に対する拒否確率を正確に制御するとともに、誤分類リスクを限定する手法を開発すること。
• 順応的予測器と固定パラメータの拒否オプションフレームワークの欠点を回避する理論的裏付けがあり、実装可能なアプローチを提供すること。
• 弱い正則性条件のもとで、提案された信頼集合の整合性を確立することにより、半教師あり学習設定における信頼性の高い性能を保証すること。

提案手法

• 与えられた分類器 s に対して、Γs(X) ∈ {{0}, {1}, {0,1}} という信頼集合を構築する。{0,1} は拒否を示す。
• 条件付き確率 η̂(x) = P(Y=1|X=x) から得られる推定スコア関数 f̂(x) を用いたプラグインアプローチを採用する。
• 信頼集合は、f̂(X) の経験的累積分布関数 F̂f を用いて定義され、F̂f(f̂(X)) ≥ 1−ε のときに拒否が発生する。
• このアプローチにより、レベル-ε の信頼集合が得られ、弱い仮定のもとで P(Γ*(X) = {0,1}) = ε が正確に成立する。
• 有限標本のバウンドは、Dvoretzky-Kiefer-Wolfowitz 不等式を用いて、経験的分布関数と真の分布関数の乖離を制御することで得られる。
• 標本サイズが増加するにつれて、推定された信頼集合のリスクがオракル集合のリスクに収束することを示すことにより、理論的整合性を確立する。

実験結果

リサーチクエスチョン

• RQ1 拒否オプション付き分類手法は、拒否確率を正確に制御するとともに、誤分類リスクを限定的に保つことができるか？
• RQ2 有限標本の妥当性と漸近的整合性を両立させるために、半教師あり学習における信頼集合をどのように構築できるか？
• RQ3 条件付き確率の推定誤差が、プラグイン型信頼集合の性能に及ぼす影響は何か？
• RQ4 理論的保証の観点から、本手法は順応的予測と固定パラメータの拒否オプションフレームワークと比べてどのように異なるか？

主な発見

• 提案されたプラグイン型信頼集合は、弱い仮定のもとで拒否確率を正確に制御する：P(Γ*(X) = {0,1}) = ε が成立する。
• 本手法は、分類された例における誤分類リスクが限定されることを保証し、信頼性の高い信頼尺度を提供する。
• 推定された信頼集合のリスクは、N（ラベル付き例の数）に対して O(N⁻¹/²) のレートでオラクル集合のリスクに収束する。
• Dvoretzky-Kiefer-Wolfowitz 不等式を用いることで、スコアの経験的分布関数と真の分布関数の乖離が制御され、有限標本バウンドが得られる。
• η̂(X) の推定誤差に対しても本手法はロバストであり、n → ∞ のとき、リスク差が 0 に収束する。
• ε が小さすぎる場合に順応的予測で見られる過剰拒否の問題を回避するため、拒否確率が正確に ε に保たれる。