[論文レビュー] Fast learning rates with heavy-tailed losses

Vu Dinh, Lam Si Tung Ho+2 more|arXiv (Cornell University)|Sep 29, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 9

ひとこと要約

この論文は、$L^r$-可積分性とマルチスケール・ベルヌーイ条件という2つの重要な条件を導入することで、重い尾を持つ損失関数における経験的リスク最小化の高速収束レートを確立した。これらの仮定のもとで、$O(n^{-1})$に限りなく近い収束レートが達成可能であることを証明し、重い尾を持つデータにおける$k$-meansクラスタリングに対しても検証された。

ABSTRACT

We study fast learning rates when the losses are not necessarily bounded and may have a distribution with heavy tails. To enable such analyses, we introduce two new conditions: (i) the envelope function $\sup_{f \in \mathcal{F}}|\ell \circ f|$, where $\ell$ is the loss function and $\mathcal{F}$ is the hypothesis class, exists and is $L^r$-integrable, and (ii) $\ell$ satisfies the multi-scale Bernstein's condition on $\mathcal{F}$. Under these assumptions, we prove that learning rate faster than $O(n^{-1/2})$ can be obtained and, depending on $r$ and the multi-scale Bernstein's powers, can be arbitrarily close to $O(n^{-1})$. We then verify these assumptions and derive fast learning rates for the problem of vector quantization by $k$-means clustering with heavy-tailed distributions. The analyses enable us to obtain novel learning rates that extend and complement existing results in the literature from both theoretical and practical viewpoints.

研究の動機と目的

• 損失関数が非有界で重い尾を持つ場合の高速収束レートに関する理論的理解の不足を解消すること。
• 従来の有界またはサブガウスィアン損失に限らない、多項式的またはそれ以上の尾を持つ分布への高速レート理論の拡張。
• 非有界損失設定において、$O(n^{-1})$に限りなく近い収束レートが達成可能な、検証可能な条件の提供。
• 重い尾を持つ源分布を有する$k$-meansクラスタリングに対して、提案フレームワークの検証。

提案手法

• 非有界損失の尾の挙動を制御するため、$r \geq 2$ に対して $\sup_{f \in \mathcal{F}} |\ell \circ f|$ の $L^r$-可積分性を導入。
• 非有界損失に対して標準的なベルヌーイ条件を一般化したマルチスケール・ベルヌーイ条件を提案し、高速レート解析を可能に。
• $L^r$-可積分性の下で、Ledererとvan de Geer（2014）のsupremaの経験過程の集中不等式を用いて超過リスクをバインド。
• リスク関数のヘッセ行列とマルチスケール・ベルヌーイ条件との関係を確立し、最適解の近傍での高速収束を保証。
• モーメントと正則性の仮定の下で、損失関数と仮説クラスに対して条件を満たすことを確認することで、$k$-meansクラスタリングへのフレームワークの適用。
• 被覆数とエントロピー条件を用いて有限標本バウンドを導出し、収束レートをデータ分布のモーメント数 $r$ と関連づけた。

実験結果

リサーチクエスチョン

• RQ1 損失関数が重い尾を持ち非有界である場合でも、高速収束レートを達成できるか？
• RQ2 仮説クラスと損失関数にどのような条件が、重い尾を持つ損失の存在下でも高速レートを可能にするか？
• RQ3 マルチスケール・ベルヌーイ条件は、非有界損失設定における高速レートの十分かつ検証可能な条件か？
• RQ4 提案フレームワークは、重い尾を持つデータ下での$k$-meansクラスタリングにおいて、従来の結果よりも速い収束レートを達成できるか？
• RQ5 データ分布のモーメント数 $r$ が達成可能な学習レートにどのように影響するか？

主な発見

• エンベロープ関数が $r \geq 2$ に対して $L^r$-可積分である限り、$O(n^{-1/2})$ より速い高速収束レートが達成可能である。
• マルチスケール・ベルヌーイ条件のもとで、$r \to \infty$ の極限において、収束レートは $O(n^{-1})$ に限りなく近づく。
• $k$-meansクラスタリングにおいて、データが $r \geq 4k(d+1)$ 階までのモーメントを持つ場合、超過リスクは $O(n^{-\beta})$ のレートで収束し、$\beta < \frac{r-1}{r}(1 - 2\sqrt{k(d+1)/r})$ を満たす。
• 収束レートは $r \to \infty$ のとき $O(n^{-1})$ に近づき、重い尾分布下でのほぼ最適性能を示している。
• Antosら（2005）およびLevrard（2013）の先行研究を非有界サポートに拡張し、同様の仮定下でTelgarskyとDasgupta（2013）の結果を改善した。
• マルチスケール・ベルヌーイ条件は、非有界損失設定において自然かつ検証可能な仮定であることが示され、微視的および巨視的スケールでの挙動の違いを明確にしている。