[論文レビュー] Stable Sample Compression Schemes: New Applications and an Optimal SVM Margin Bound

Steve Hanneke, Aryeh Kontorovich|arXiv (Cornell University)|Nov 9, 2020

Machine Learning and Algorithms参考文献 39被引用数 5

ひとこと要約

本稿では、安定なサンプル圧縮スキームを用いたサポートベクターマシン（SVM）の新しい一般化境界を導入し、Hoeffdingの不等式の代わりにBernsteinの不等式を用いることで、よりタイトなリスク推定を達成する。主な貢献は、圧縮スキームの構造的性質と置換不変なサンプリングを活用することで、SVMの最適マージン境界を改善し、一般化誤差解析を向上させることにある。

ABSTRACT

We analyze a family of supervised learning algorithms based on sample compression schemes that are stable, in the sense that removing points from the training set which were not selected for the compression set does not alter the resulting classifier. We use this technique to derive a variety of novel or improved data-dependent generalization bounds for several learning algorithms. In particular, we prove a new margin bound for SVM, removing a log factor. The new bound is provably optimal. This resolves a long-standing open question about the PAC margin bounds achievable by SVM.

研究の動機と目的

• 安定なサンプル圧縮スキームの解析においてHoeffdingの不等式をBernsteinの不等式に置き換えることで、SVMのよりタイトな一般化境界を構築すること。
• 安定な圧縮スキームと二値分類における最適マージン境界の間の関係を確立すること。
• 置換に基づくサンプリングと条件付き確率の議論を組み込むことで、学習理論におけるリスク推定を改善すること。
• 圧縮ベースの推定器を用いて、真のリスクと経験的リスクの差の高確率境界を導出すること。

提案手法

• 圧縮セットを選び、それから仮説を再構築する（κ, ρ）という安定な圧縮スキームを用いる。
• 経験的リスクと真のリスクの乖離を制御するため、圧縮されたサブセットを条件とする分布の下でBernsteinの不等式を適用する。
• サンプルを再インデックス化するためのランダムな置換σを用い、分析において無作為抽出（戻さない）を保証する。
• すべての可能なインデックス集合 I ∈ ℐₙ における和集合を用いて、すべての圧縮設定にわたる高確率保証を維持する。
• 圧縮セットのサイズと経験的リスクに明示的な依存関係を持つ一般化誤差の境界を導出する。Tₙ と |ℐₙ| に依存する。
• 全確率の法則と訓練集合とテスト集合の間の条件付き独立性を活用して、リスク推定を分離する。

実験結果

リサーチクエスチョン

• RQ1 安定なサンプル圧縮の文脈において、Bernsteinの不等式はHoeffdingの不等式よりもタイトな一般化境界をもたらすか？
• RQ2 安定な圧縮スキームの構造は、SVMのマージンに基づく一般化誤差にどのように影響するか？
• RQ3 一般化誤差が圧縮サブセットのサイズと可能な圧縮集合の数に依存する最適な依存関係は何か？
• RQ4 置換不変なサンプリングは、学習理論における高確率リスク推定を改善できるか？

主な発見

• 本稿では、真のリスクと圧縮された仮説の経験的リスクの差について、確率が少なくとも 1−δ/2 以上である高確率境界を確立した。
• 境界は O(√(n/Tₙ) · R̂_S(ρ(κ(S))) · ln(4|ℐₙ|/δ)/Tₙ + ln(4|ℐₙ|/δ)/Tₙ) の形を取り、圧縮サイズと設定数に明示的な依存関係を示している。
• Hoeffdingの不等式の代わりにBernsteinの不等式を用いることで、経験的リスクが小さい場合に特にタイトなリスク乖離推定が得られる。
• すべてのインデックス集合 I ∈ ℐₙ にわたって一様に成り立つため、異なる圧縮選択に対して堅牢である。
• 結果は、アゴニスティック設定における安定な圧縮スキームの既知の下界と一致するため、最適性を有する。