[論文レビュー] Novel Bernstein-like Concentration Inequalities for the Missing Mass

Bahman Yari Saeed Khanloo, Gholamreza Haffari|arXiv (Cornell University)|Mar 10, 2015

Statistical Mechanics and Entropy参考文献 8被引用数 3

ひとこと要約

本稿は、結果確率の不均一性を制御するためのしきい値処理技術を用いて、離散分布における欠落質量の新しいベルンシュタインに類似した集中不等式を導入する。標準的な不等式の限界を克服し、項の大きさを新たな分散に配慮した正則化によって制御することにより、特に小さな逸脱値においてより鋭い境界を達成する。$\epsilon < 0.021$（下側尾部）および $\epsilon < 0.045$（上側尾部）の範囲で、既存の最良結果を改善する。

ABSTRACT

We are concerned with obtaining novel concentration inequalities for the missing mass, i.e. the total probability mass of the outcomes not observed in the sample. We not only derive - for the first time - distribution-free Bernstein-like deviation bounds with sublinear exponents in deviation size for missing mass, but also improve the results of McAllester and Ortiz (2003) andBerend and Kontorovich (2013, 2012) for small deviations which is the most interesting case in learning theory. It is known that the majority of standard inequalities cannot be directly used to analyze heterogeneous sums i.e. sums whose terms have large difference in magnitude. Our generic and intuitive approach shows that the heterogeneity issue introduced in McAllester and Ortiz (2003) is resolvable at least in the case of missing mass via regulating the terms using our novel thresholding technique.

研究の動機と目的

• 学習理論において極めて重要な小逸脱領域における、欠落質量に対する鋭い集中不等式の欠如を解決すること。
• 項の大きさが著しく異なる場合に標準的な不等式が果たせない、不均一な和の取り扱いの限界を克服すること。
• 特定の分布的仮定に依存せずに、欠落質量の変動に対するより鋭い境界を可能にする、分布に依存しないフレームワークを構築すること。
• McAllester & Ortiz (2003) や Berend & Kontorovich (2013) が得た既存の境界を、項の寄与度を制御するためのしきい値処理機構を導入することで精緻化すること。
• 逸脱量の非線形指数を用いたベルンシュタイン型不等式を用いて、欠落質量の上側および下側の逸脱境界をより鋭くすること。

提案手法

• 確率 $\tau^*$ を用いて、結果を低確率群と高確率群に分割するしきい値処理技術を導入し、和における項の大きさを制御する。
• 分散とマルティングルール差分を制御するため、切り捨てられた確率変数 $Y'$ と $Y''$ を定義し、標準的な集中不等式の適用を可能にする。
• 切り捨てられた和にベルンシュタインの不等式を適用し、分散 $V_{\mathcal{L}''}$ と最大項サイズ $\alpha_l$ を評価する。ここで $\alpha_l = \tau'$ であり、$V_{\mathcal{L}''} \leq \frac{\theta}{n} \epsilon + \frac{2\theta}{3n} \cdot \frac{\gamma-1}{\gamma} \epsilon$ を満たす。
• 適切に選ばれた $\gamma$ を用いた指数モーメント法により境界を最適化し、$\exp\left(-\frac{3n\epsilon(\gamma-1)^2}{10\gamma^2 \ln(\gamma/\epsilon)}\right)$ を得る。この式は $\gamma$ に関して最小化される。
• 補正ギャップ $g_l(\theta)$ を $|g_l(\theta)| \leq f(\theta)$ で制御し、$\epsilon$ が小さい場合にその影響が無視可能であることを保証することで、境界の鋭さを維持する。
• 対称的な手法適用により上側および下側の尾部境界を確立し、最終的な境界は $\mathbb{P}(Y - \mathbb{E}[Y] \leq -\epsilon) \leq \exp(-c(\epsilon) \cdot n\epsilon)$ として表される。

実験結果

リサーチクエスチョン

• RQ1 分布に依存しない、かつ小逸脱値に対しても有効な、欠落質量のより鋭い集中不等式を導出可能か？
• RQ2 学習理論の文脈で顕著な不均一性を示す、確率が著しく異なるベルヌーイ変数の和における不均一性問題をどのように解決できるか？
• RQ3 しきい値処理技術は、欠落質量の文脈におけるベルンシュタイン型境界の鋭さをどの程度向上させられるか？
• RQ4 分布に依存しない保証を維持しつつ、逸脱率における $\epsilon$ の非線形指数を達成できるか？
• RQ5 切り捨てによって生じる補正ギャップは最終的な境界にどのように影響するか？また、$\epsilon$ が小さい場合にその影響を無視可能にできるか？

主な発見

• 提案手法は、$\epsilon < 0.021$ の全範囲で、Berend と Kontorovich (2013) よりも鋭い下側尾部境界を達成し、特に小逸脱領域で顕著な改善を示す。
• 上側尾部においては、$\epsilon < 0.045$ の全範囲で、既存の最良結果を上回る境界を達成し、学習理論の最も関連性の高い範囲で性能が向上していることを示している。
• 補正ギャップ $|g(\epsilon)|$ は、$\sqrt{e} \cdot \exp\left(W_{-1}\left(\frac{-\epsilon}{2\sqrt{e}}\right)\right)$ で有界であることが示され、$\epsilon$ が小さい場合にその影響は無視可能であるため、最終的な境界の鋭さが正当化される。
• 最終的な境界は $\mathbb{P}(Y - \mathbb{E}[Y] \leq -\epsilon) \leq \exp(-c(\epsilon) \cdot n\epsilon)$ として表され、$c(\epsilon)$ は $\epsilon$ に依存し、指数部に $\epsilon$ に対する非線形依存性を達成する。
• この手法により、まずしきい値処理による項の不均一性の制御を経て、標準的な集中不等式（例：ベルンシュタイン）を直接的に欠落質量に適用可能になる。
• 境界は分布に依存せず、$n \geq \lceil \gamma_\epsilon \rceil - 1$ という緩い条件のもとで成り立つため、非漸近的設定でも適用可能である。