[論文レビュー] Minimax semi-supervised confidence sets for multi-class classification

Evgenii Chzhen, Christophe Denis+1 more|arXiv (Cornell University)|Apr 29, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用数 3

ひとこと要約

本稿では、マージンとH"older滑らかさの仮定の下で、多クラス分類におけるミニマックス最適な半教師付き信頼集合推定器を提案する。理論的・実験的裏付けのもと、教師あり手法は本質的に遅いn^{-1/2}収束率に制限される一方で、十分な不標識データが利用可能な場合、半教師付き手法はより速い収束率を達成できることを示している。

ABSTRACT

In this work we study the semi-supervised framework of confidence set classification with controlled expected size in minimax settings. We obtain semi-supervised minimax rates of convergence under the margin assumption and a H{\"o}lder condition on the regression function. Besides, we show that if no further assumptions are made, there is no supervised method that outperforms the semi-supervised estimator proposed in this work. We establish that the best achievable rate for any supervised method is n^{--1/2} , even if the margin assumption is extremely favorable. On the contrary, semi-supervised estimators can achieve faster rates of convergence provided that sufficiently many unlabeled samples are available. We additionally perform numerical evaluation of the proposed algorithms empirically confirming our theoretical findings.

研究の動機と目的

• 期待サイズを制御したミニマックス枠組みにおける信頼集合分類を研究すること。
• マージンとH"older滑らかさ条件の下で、半教師付き推定器のミニマックス収束速度を確立すること。
• この設定において、いかなる教師あり手法も、収束速度の観点から提案された半教師付き推定器を上回ることはできないことを証明すること。
• 不標識データが豊富に利用可能な場合にのみ、高速収束が達成可能であることを示すこと。

提案手法

• 不標識データから導かれるしきい値を用いて回帰関数をしきい値処理することで、半教師付き信頼集合推定器を提案する。
• 累積分布関数G(t) = ∑_{k=1}^K P(p_k(X) > t) の一般化逆関数G^{-1}(β) を用いて、β-オラクル信頼集合を定義する。
• 不標識データからの推定値G^{-1}_N(β) を用いたプラグインアプローチを採用する。
• 過剰リスクR_β(Γ) = P(Γ) + G^{-1}(β) I(Γ) を分析し、ミニマックス上界と下界を導出する。
• 経験過程理論と集中不等式の道具を用いて、真のしきい値と推定しきい値の差を評価する。
• 合成データおよび実データを用いた数値的評価を通じて、理論的結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 半教師付き手法は、教師あり手法よりも信頼集合分類においてより速い収束速度を達成できるか？
• RQ2 マージンとH"older滑らかさの仮定の下で、信頼集合推定のミニマックス収束速度は何か？
• RQ3 この設定において、教師あり推定器の性能に根本的な限界があるか？
• RQ4 不標識データの可用性が、信頼集合推定器の収束速度にどのように影響するか？
• RQ5 上界に含まれる対数因子を削除できるか、それともこれらはタイトな上界であるか？

主な発見

• 教師あり推定器は、有利なマージン仮定が成り立っていようとも、収束速度がn^{-1/2}を上回ることはできない。
• 不標識サンプル数Nが十分に大きい場合、半教師付き推定器はn^{-1/2}より速い収束速度を達成できる。
• 提案された半教師付き推定器は、マージンとH"older滑らかさの仮定の下でミニマックス最適な収束速度を達成する。
• 過剰リスクと乖離の上界と下界は、対数因子を除いて一致しており、これにより境界がほぼタイトであることが示唆される。
• 回帰関数のCDFに対する連続性仮定は、well-definedなβ-オラクルの存在およびしきい値に基づく推定器の導出に不可欠である。
• 数値実験により、半教師付き推定器が特にNが大きい場合に教師あり手法を著しく上回ることが確認された。