[論文レビュー] Concentration in unbounded metric spaces and algorithmic stability

Aryeh Kontorovich|arXiv (Cornell University)|Sep 4, 2013

Markov Chains and Monte Carlo Methods参考文献 52被引用数 40

ひとこと要約

本稿では、メトリック直径の分布依存的拡張としてのサブガウスィアン径を導入し、無限大のメトリック直径をとる非有界メトリック空間に対してもMcDiarmidの不等式を拡張する。これにより、リプシッツ関数に対して次元に依存しない集中不等式が得られ、特にメトリック直径が無限大であっても非自明な集中が可能となり、非有界損失関数に対するアルゴリズム的安定性における一般化境界の初めての一般化が達成される。

ABSTRACT

We prove an extension of McDiarmid's inequality for metric spaces with unbounded diameter. To this end, we introduce the notion of the {\em subgaussian diameter}, which is a distribution-dependent refinement of the metric diameter. Our technique provides an alternative approach to that of Kutin and Niyogi's method of weakly difference-bounded functions, and yields nontrivial, dimension-free results in some interesting cases where the former does not. As an application, we give apparently the first generalization bound in the algorithmic stability setting that holds for unbounded loss functions. We furthermore extend our concentration inequality to strongly mixing processes.

研究の動機と目的

• メトリック直径が無限大である非有界メトリック空間において、McDiarmidの不等式の限界を解消すること。
• 集中不等式における制限的な有界差分条件を、分布依存的修正によって克服すること。
• 従来の手法が失敗する非有界損失関数に適用可能な、アルゴリズム的安定性のための新しい枠組みを提供すること。
• サブガウスィアン尾部を超える他のオーリッチノルムおよび非i.i.d.プロセスに対しても集中結果を拡張すること。
• 過度に複雑な条件を避けるとともに、よりタイトでより一般的な境界を提供する、Kutin-Niyogi法の理論的裏付けのある代替手法を確立すること。

提案手法

• メトリック確率空間 X のサブガウスィアン径 ΔSG(X) を、すべての λ に対して E[exp(λΞ(X))] ≤ exp(a²λ²/2) を満たす最小の a > 0 として定義する。ここで Ξ(X) は対称化された距離である。
• ドーブ分解を用いたマルティンゲールに基づく議論により、サブガウスィアン径に基づく集中不等式を導出する。
• 積空間上の1リプシッツ関数 φ に対して、P(|φ − Eφ| > t) ≤ 2exp(−t²/(2∑ΔSG²(Xi))) が成り立つことを証明し、McDiarmidの不等式を一般化する。
• 混合度が強い過程（strongly mixing processes）に対しても、補正項 τ̄i を含む修正されたマルティンゲール差分列を導入することで結果を拡張する。
• Young関数 ψp(x) = e^{|x|^p} − 1 を用いてオーリッチノルムに一般化し、指数 p/(p−1) の尾部境界を導出する。
• メトリック直径が無限大であってもサブガウスィアン径が有限である例を示し、非有界設定において非自明な集中が可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 有界差分を要件としない非有界メトリック空間に対しても集中不等式を拡張できるか？
• RQ2 サブガウスィアン径は、リプシッツ関数のサブガウスィアン集中を十分かつ分布依存的に保証する条件か？
• RQ3 提案手法はKutin-Niyogi法と比較して、一般性および適用範囲において優れているか？
• RQ4 本フレームワークは、非有界損失関数に対するアルゴリズム的安定性において非自明な一般化境界を導けるか？
• RQ5 サブガウスィアン径とk-NNやカーネルSVMのような学習アルゴリズムの安定性との関係は何か？

主な発見

• サブガウスィアン径 ΔSG(X) は、メトリック直径が無限大であっても有限であることがあり、非有界メトリック空間における集中を可能にする。
• 積空間上の1リプシッツ関数 φ に対して、P(|φ − Eφ| > t) ≤ 2exp(−t²/(2∑ΔSG²(Xi))) が成り立ち、McDiarmidの不等式が一般化される。
• 本手法により、非有界損失関数に対するアルゴリズム的安定性における一般化境界が初めて得られ、従来のアプローチの主要な限界を克服する。
• 補正項 τ̄i を用いた修正マルティンゲールの議論により、非i.i.d.プロセスに対しても境界が拡張可能である。
• オーリッチノルム ψp(x) = e^{|x|^p} − 1 を用いる場合、尾部境界は P(|φ − Eφ| > t) ≤ 2exp(−(p−1)/p ⋅ (t/||Δ||p)^{p/(p−1)}) に一般化され、サブガウスィアン結果が拡張される。
• 例示により、サブガウスィアン径は有界差分条件よりも厳密に一般であることが示され、前者は有限であるが後者は無限大である例が存在する。