[論文レビュー] Optimal learning via local entropies and sample compression

Nikita Zhivotovskiy|arXiv (Cornell University)|Jun 4, 2017

Machine Learning and Algorithms参考文献 29被引用数 7

ひとこと要約

本稿は、分布に依存する局所エントロピーとサンプル圧縮スキームを用いて分類のための新たなリスクバインドを導入し、定数要因を除いて最適な学習レートを達成する。ハードマージンSVMのタイトなPACバインドを確立し、安定な圧縮と投票を用いたオンラインからバッチへの変換を改善し、多項式時間アルゴリズムと改善された一般化保証を提供する。

ABSTRACT

The aim of this paper is to provide several novel upper bounds on the excess risk with a primal focus on classification problems. We suggest two approaches and the obtained bounds are represented via the distribution dependent local entropies of the classes or the sizes of specific sample com- pression schemes. We show that in some cases, our guarantees are optimal up to constant factors and outperform previously known results. As an application of our results, we provide a new tight PAC bound for the hard-margin SVM, an extended analysis of certain empirical risk minimizers under log-concave distributions, a new variant of an online to batch conversion, and distribution dependent localized bounds in the aggregation framework. We also develop techniques that allow to replace empirical covering number or covering numbers with bracketing by the coverings with respect to the distribution of the data. The proofs for the sample compression schemes are based on the moment method combined with the analysis of voting algorithms.

研究の動機と目的

• 分布に依存する局所エントロピーを活用することで、分類における経験的リスク最小化のよりタイトな一般化バインドを構築すること。
• 特に実現可能な状況において、安定性を有するサンプル圧縮スキームを用いて、最適な過剰リスクバインドを確立すること。
• より良いリスクレートを達成する、安定的で多項式時間のアルゴリズムを構築することで、オンラインからバッチへの変換を改善すること。
• 従来の被覆数を、データ分布に特化した被覆に置き換えることで、データ分布への適応性を高めること。
• 最小上限下界と定数要因を除いて一致する、ハードマージンSVMの新しいタイトなPACバインドを提供すること。

提案手法

• 損失クラスの複雑さを測るために、分布に依存する局所エントロピーを用い、Lr(P)の半径2εの球と関数クラスの交差部分を覆うのに必要な球の数を定量化する。
• サイズkのサンプル圧縮スキームを適用し、圧縮されたサイズkのサブセットから元のサンプルを復元する再構成関数を定義する。
• 再構成関数が圧縮セットの小さな摂動に対して感度が低くなるように、安定な圧縮スキームを導入する。
• モーメント法と投票アルゴリズムを組み合わせて、過剰リスクの高確率バインドを導出する。
• 三サンプル投票戦略を用いることで一般化を改善し、リスクレートをO(k log(k)/n)からO(k log(k)/n + log(1/δ)/n)に低下させる。
• 経験的またはブレケット被覆数を、分布固有の被覆に置き換えることで、局所的かつデータ依存のバインドを達成する。

実験結果

リサーチクエスチョン

• RQ1 局所エントロピー測度は、古典的な被覆数よりもタイトで分布に依存する一般化バインドを提供できるか？
• RQ2 安定性を有するサンプル圧縮スキームは、実現可能な分類設定において最適な学習レートを達成できるか？
• RQ3 一般分布下で、ハードマージンSVMの多項式時間アルゴリズムが達成可能な最適なリスクレートは何か？
• RQ4 オンライン学習アルゴリズムを、より良いリスク保証を持つバッチ学習に変換する方法は何か？
• RQ5 分布固有の被覆は、経験的またはブレケット被覆に置き換えることで、鋭く局所的なバインドを達成できるか？

主な発見

• 本稿は、ハードマージンSVMに対してタイトなPACバインドを確立した：過剰リスク R(𝑓̂) ≲ d log(d)/n + log(1/δ)/n であり、定数要因を除いて最小上限下界と一致する。
• 実現可能な状況における線形ハーフスペースのクラスに対して、多項式時間アルゴリズムが最適レート d log(d)/n + log(1/δ)/n を達成する。
• 三つの圧縮サンプルに対する投票を用いたオンラインからバッチへの変換により、リスクレートがO(k log(k)/n + log(1/δ)/n)に達し、既存の最良のバインドにほぼ一致する。
• 従来の結果に対して、log(k/δ)要因をlog(1/δ)に置き換えることで、信頼度に対する依存性をよりタイトにした。
• 分布に依存する局所エントロピーの使用により、特定の設定では従来の被覆数よりも鋭いバインドが得られる。
• 安定なサンプル圧縮スキームが最適な過剰リスクバインドをもたらすことが示され、このようなスキームに対する初めての高確率バインドが導出された。