[論文レビュー] An extension of McDiarmid's inequality

Richard Combes|arXiv (Cornell University)|Nov 17, 2015

Mathematical and Theoretical Analysis被引用数 6

ひとこと要約

本稿は、関数の差分が全定義域ではなく高確率部分集合上で有界である場合に、McDiarmidの不等式を拡張する。関数のリプシッツ拡張を構築し、拡張された関数に対して濃縮を適用することで、元の関数が部分集合上で条件付き期待値まわりに集中することを示す不等式を得た。この不等式には、部分集合の確率と直径を補正項として含む。主な結果は、メトリック空間への濃縮の一般化を可能にし、部分集合外での任意の振るまいに対しても対応可能である。

ABSTRACT

We generalize McDiarmid's inequality for functions with bounded differences on a high probability set, using an extension argument. Those functions concentrate around their conditional expectations. We further extend the results to concentration in general metric spaces.

研究の動機と目的

• 差分が全領域ではなく高確率部分集合でのみ有界である場合に生じるMcDiarmidの不等式の限界を解消すること。
• 高確率集合外で無限大や不規則な振るまいを示す関数に対しても濃縮バウンドを確立すること。
• リプシッツ拡張技術を用いて、有界差分フレームワークを一般メトリック空間へ一般化すること。
• 部分集合の確率とメトリック構造を考慮した、よりタイトで頑健な濃縮不等式を提供すること。

提案手法

• 入力がすべての座標を除き一致する場合にのみ差分がcで有界であるような高確率部分集合Y ⊂ Xにおける関数を定義する。
• 重み付きハミング距離d_cを用いてg(x) = inf_{y∈Y} {f(y) + d_c(x,y)}としてリプシッツ拡張g(x)を構築し、gがd_cに関して1-リプシッツであることを保証する。
• 全確率の法則を用いて、尾確率P[f(X) - E[f(X)|X∈Y] ≥ ε + p·c̄]をX∈YとX∉Yの2つの部分に分解する。
• 拡張関数gは全有界差分を満たすため、McDiarmidの不等式を適用し、指数的尾部バウンドを得る。
• カップリングの議論と条件付き分布間のワーサーライン距離を用いてgの期待値をバウンドし、pと空間の直径を含む補正項を得る。
• 重み付きハミング距離を一般メトリックdに置き換え、同じ拡張およびカップリング技術を用いることで、結果を任意のメトリック空間へ一般化する。

実験結果

リサーチクエスチョン

• RQ1 差分が高確率部分集合でのみ有界である関数に対して、McDiarmidの不等式を拡張できるか？
• RQ2 このような場合でも、関数は無条件期待値ではなく条件付き期待値まわりに集中するか？
• RQ3 関数が高確率集合外で任意の振るまいを示す場合、濃縮バウンドはどのように定量化できるか？
• RQ4 このフレームワークは積空間を超えて任意のメトリック空間へ一般化可能か？
• RQ5 部分集合の確率とメトリック構造が濃縮速度に果たす役割は何か？

主な発見

• 差分が高確率集合Y上で有界である場合、関数fはE[f(X)]ではなくE[f(X)|X∈Y]まわりに集中する。
• 主なバウンドはP[f(X) - E[f(X)|X∈Y] ≥ ε + p·c̄] ≤ p + exp( -2ε² / ∑c_i² )であり、p = P[X∉Y]、c̄ = ∑c_iである。
• 補正項p·c̄はY外でのfの振るまいを補償し、指数項はY内での集中を捉える。
• 典型的な状況でp = a^{-n}、c_i = b/nの場合、指数部はMcDiarmidの元のバウンドと一致し、タイトさを保つ。
• 重み付きハミング距離を一般メトリックdに置き換え、補正項にワーサーライン距離を用いることで、結果は一般メトリック空間へ拡張可能である。
• pが小さく、メトリック構造が制御されていれば、fがY外で無限大であってもバウンドは空虚でないまま保たれる。