[論文レビュー] From Stochastic Mixability to Fast Rates

Nishant A. Mehta, Robert C. Williamson|ANU Open Research (Australian National University)|Jun 14, 2014

Machine Learning and Algorithms参考文献 24被引用数 3

ひとこと要約

この論文は、統計学的学習とオンライン学習の間の橋渡しとなる確率的ミキシング性が、有限およびVC型の関数クラスにおける経験的リスク最小化（ERM）の高速 $ O(1/n) $ 収束レートを示すことを確立している。Cramér-Chernoff法と一般モーメント問題に対するKempermanの解法に基づく直接的証明により、確率的ミキシング性が先行定数1の正確なオラクル不等式をもたらすことが示され、高速レートの幾何的性質に関する新たな知見を提供するとともに、学習問題における有効な凸性の特徴付けを示唆している。

ABSTRACT

Empirical risk minimization (ERM) is a fundamental learning rule for statistical learning problems where the data is generated according to some unknown distribution $\mathsf{P}$ and returns a hypothesis $f$ chosen from a fixed class $\mathcal{F}$ with small loss $\ell$. In the parametric setting, depending upon $(\ell, \mathcal{F},\mathsf{P})$ ERM can have slow $(1/\sqrt{n})$ or fast $(1/n)$ rates of convergence of the excess risk as a function of the sample size $n$. There exist several results that give sufficient conditions for fast rates in terms of joint properties of $\ell$, $\mathcal{F}$, and $\mathsf{P}$, such as the margin condition and the Bernstein condition. In the non-statistical prediction with expert advice setting, there is an analogous slow and fast rate phenomenon, and it is entirely characterized in terms of the mixability of the loss $\ell$ (there being no role there for $\mathcal{F}$ or $\mathsf{P}$). The notion of stochastic mixability builds a bridge between these two models of learning, reducing to classical mixability in a special case. The present paper presents a direct proof of fast rates for ERM in terms of stochastic mixability of $(\ell,\mathcal{F}, \mathsf{P})$, and in so doing provides new insight into the fast-rates phenomenon. The proof exploits an old result of Kemperman on the solution to the general moment problem. We also show a partial converse that suggests a characterization of fast rates for ERM in terms of stochastic mixability is possible.

研究の動機と目的

• 確率的ミキシング性と統計的学習における高速収束レートの直接的関係を確立すること。
• Cramér-Chernoff法と一般モーメント問題に対するKempermanの解法を用いた、ERMにおける高速レートの新しい証明を提供すること。
• 確率的ミキシング性が、有限およびVC型クラスにおいて先行定数1の正確なオラクル不等式をもたらすことを示すこと。
• 確率的ミキシング性が高速レート現象を特徴づけるかどうかを調査し、非一意な最小化子が失敗の兆候であるという部分的な逆を示唆すること。
• 確率的ミキシング性とBernstein条件との関係を調査し、有界損失仮定の下での同値性の可能性を評価すること。

提案手法

• 著者たちは、超過リスクの尾確率を制御するためにCramér-Chernoff法を用い、確率的ミキシング性条件を活用している。
• 彼らは、超過損失のモーメント母関数に対する鋭い上限を導出するために、Kempermanの一般モーメント問題に対する解法を適用している。
• 分析は、超過リスクが少なくとも $ (\theta n)^{-1/(2-\theta)} $ 以上である関数に限定されることで局所化され、有限クラスからVC型クラスへの拡張が可能になっている。
• 重要な技術的ステップとして、確率的ミキシング性の下でのモーメント問題インスタンスの最適値をバインドし、高速レート制御を保証している。
• 証明構造により、クラスに属する個々の関数についての大偏差確率を別々に制御でき、$ \u0000 $-ネットを介してVC型クラスへの一般化が可能になっている。
• 非パラメトリッククラスへの応用は、多項式的メトリックエントロピーを考慮することで拡張されているが、完全な拡張は未解決の問題のままである。

実験結果

リサーチクエスチョン

• RQ1 確率的ミキシング性は、有限関数クラスにおけるERMに対して高速 $ O(1/n) $ レートをもたらすか？
• RQ2 確率的ミキシング性の下での高速レート結果は、VC型クラスへ拡張可能か？
• RQ3 部分的な逆は成り立つか：確率的ミキシング性が失敗すれば、最小化子が一意ではなく、レートが遅くなるか？
• RQ4 確率的ミキシング性はBernstein条件とどのように関係し、有界損失の下で同値であるか？
• RQ5 有界損失仮定を外すことで、より一般的な損失分布へ結果を拡張可能か？

主な発見

• 確率的ミキシング性は、有限クラスにおいて先行定数1の正確なオラクル不等式をもたらし、$ O(1/n) $ の高速レートをもたらす。
• 関数数 $ N $、有界損失 $ V $ の有限クラスにおいて、高い確率で超過リスクは $ \frac{6(\log(1/\delta) + \log N)}{(η_0 n)^{1/(2-\kappa)}} $ で抑えられる。
• 超過リスクが少なくとも $ (η_0 n)^{-1/(2-\kappa)} $ 以上である関数に分析を局所化することで、VC型クラスへ拡張可能である。
• 部分的な逆が確立された：確率的ミキシング性が失敗すれば、リスク最小化子が一意ではなく、遅いレートに至る幾何的障害が生じる。
• 有界損失の下では、Bernstein条件が確率的ミキシング性を意味するため、両条件の間に深い関係があることが示唆される。
• 確率的ミキシング性の最悪ケースの確率変数は、大きな利益を得る確率が低く、小さな損失を得る確率が高いものであり、これを除外するには追加のモーメント条件が必要となる可能性がある。