[論文レビュー] Subgaussian Tail Bounds via Stability Arguments

Thomas Steinke, Jonathan Ullman|arXiv (Cornell University)|Jan 12, 2017

Privacy-Preserving Technologies in Data参考文献 8被引用数 7

ひとこと要約

本稿は、従来のモーメント生成関数手法を避けて、独立かつ有界な確率変数の和のサブガウス型尾確率を安定性に基づく証明で提示する。微分プライバシーにインspiredされた安定性の議論を用いて、ホイーフィング型およびベルンシュタイン型の鋭い集中不等式を、偏差変数の複数の独立同一コピーの期待最大値を抑え込むことで確立する。

ABSTRACT

Sums of independent, bounded random variables concentrate around their expectation approximately as well a Gaussian of the same variance. Well known results of this form include the Bernstein, Hoeffding, and Chernoff inequalities and many others. We present an alternative proof of these tail bounds based on what we call a stability argument, which avoids bounding the moment generating function or higher-order moments of the distribution. Our stability argument is inspired by recent work on the generalization properties of differential privacy and their connection to adaptive data analysis (Bassily et al., STOC 2016).

研究の動機と目的

• 独立かつ有界な確率変数の和のサブガウス型尾確率を、モーメント生成関数のバウンディングに依存せずに証明すること。
• アルゴリズム的安定性、特に微分プライバシーを用いて非適応的設定における集中不等式を導出する方法を示すこと。
• 低感度関数へこのアプローチを一般化し、マクディアーミッドの不等式の新たな導出を可能とすること。
• 適応的データ解析における安定性と古典的測度集中の間の関係を確立すること。
• 偏差変数のi.i.d.コピーの期待最大値に関する代理バウンディングを通じて、サブガウス型尾確率を一元的に導出するフレームワークを構築すること。

提案手法

• 偏差 $ Y = \textstyle\sum_{i=1}^n X_i - \mu_i $ の $ m $ 個のi.i.d.コピーの期待最大値を、尾確率の代理として用いる。
• 微分プライバシーを満たすアルゴリズムを用いて、$ m $ 個のコピーの中から近似的な最大値を選び出す安定性の議論を適用する。
• $ \eta $ でパrameter化された滑らか化されたargmax関数を用いて、選択された偏差の期待値を安定性を保つ形でバウンディングする。
• 代理バウンディングを導出する：$ \mathbb{E}[\max\{0, Y^1, \dots, Y^m\}] \leq O(\sqrt{n \ln m}) $ であり、これはサブガウス型尾確率の減衰を示唆する。
• この代理バウンディングをLemma 1.2に基づくマーカフ型集中と組み合わせ、$ \mathbb{P}[Y \geq \varepsilon n] \leq e^{-\Omega(\varepsilon^2 n)} $ の形の尾不等式を導出する。
• この手法を低感度関数 $ f $ に一般化し、$ \mathbb{E}[\max_j (f(X^j) - \mathbb{E}[f(X^j)])] \leq 8\Delta\sqrt{n \ln m} $ を証明し、マクディアーミッドの不等式を回復する。

実験結果

リサーチクエスチョン

• RQ1 独立かつ有界な確率変数の和のサブガウス型尾確率は、モーメント生成関数の解析に依存せずに導出可能か？
• RQ2 アルゴリズム的安定性、特に微分プライバシーを用いて、非適応的設定における集中不等式を証明する方法は何か？
• RQ3 i.i.d.コピーの偏差変数の期待最大値とその変数の尾確率との関係は何か？
• RQ4 安定性に基づくアプローチは、和を超える低感度関数へ一般化可能か？
• RQ5 この代理ベースの安定性フレームワークで達成可能な最も鋭い尾不等式は何か？

主な発見

• 本稿は、モーメント生成関数の解析を避けて、安定性の議論を用いて定理1.1（ベルンシュタイン型サブガウス型尾確率）の新たな証明を確立した。
• また、$ \mathbb{E}[\max\{0, Y^1, \dots, Y^m\}] \leq O(\sqrt{n \ln m}) $ を証明し、これはLemma 1.2により $ \mathbb{P}[Y \geq \varepsilon n] \leq e^{-\Omega(\varepsilon^2 n)} $ を示唆する。
• 乗法的偏差に対しては、$ \mathbb{P}[\sum X_i \geq (1+\varepsilon)\mu] \leq e \cdot (1 + \varepsilon/4)^{-\varepsilon\mu/8} $ が得られ、$ \varepsilon \in [0,10] $ の場合、$ e^{1 - \varepsilon^2 \mu / 64} $ に簡略化される。
• 両側不等式が導出された：$ \mathbb{P}[\sum X_i \leq (1-\varepsilon)\mu] \leq e^{1 - \varepsilon^2 \mu / 32} $（$ \varepsilon \in [0,1] $）。
• この手法は低感度関数へ一般化可能であり、$ \mathbb{E}[\max_j (f(X^j) - \mathbb{E}[f(X^j)])] \leq 8\Delta\sqrt{n \ln m} $ を証明し、マクディアーミッドの不等式を回復した。
• このアプローチは微分プライバシーと古典的測度集中不等式の間の概念的ブリッジを提供し、新たな直感をもたらし、さらなる一般化の可能性を示唆する。