[論文レビュー] Chernoff-Hoeffding Inequality and Applications

Jeff M. Phillips|arXiv (Cornell University)|Sep 27, 2012

Algorithms and Data Compression参考文献 11被引用数 18

ひとこと要約

本稿では、有界で独立な確率変数の和の尾確率を抑え込むためのチェルノフ＝フーディング不等式の簡潔な導出と応用を提示する。この不等式を用いて、次元削減のためのジョンソン＝リンデンストラウス補題の証明と、密度推定におけるサブセットサンプリングの応用を示し、高次元空間におけるランダムプロジェクションがペアワイズ距離を高確率で保存すること、および小さなランダムサンプルが高次元空間における点密度を正確に近似できることを示している。

ABSTRACT

When dealing with modern big data sets, a very common theme is reducing the set through a random process. These generally work by making "many simple estimates" of the full data set, and then judging them as a whole. Perhaps magically, these "many simple estimates" can provide a very accurate and small representation of the large data set. The key tool in showing how many of these simple estimates are needed for a fixed accuracy trade-off is the Chernoff-Hoeffding inequality[Che52,Hoe63]. This document provides a simple form of this bound, and two examples of its use.

研究の動機と目的

• 有界確率変数に対するチェルノフ＝フーディング不等式の明快でアクセスしやすい導出を提供すること。
• 大規模データにおける次元削減のためのジョンソン＝リンデンストラウス補題の証明にその応用を示すこと。
• 高次元空間における点密度を確率的保証付きで近似するためにランダムサンプリングがどのように利用できるかを示すこと。
• 複数のデータペアに対して、ペア単位の境界を全般的な保証に拡張するためにユニオンバウンドの使用を説明すること。
• 特に逸脱パラメータ α の範囲に関して、不等式が成立する条件を明確にすること。

提案手法

• モーメント生成関数と凸性を用いて、独立で有界な確率変数の和に対するチェルノフ＝フーディング不等式を導出する。
• ランダムプロジェクションをランダム単位ベクトルとの内積の和としてモデル化することで、不等式をジョンソン＝リンデンストラウス補題に適用する。
• 個々のプロジェクション成分の期待値と分散を用いて、射影されたノルムが元のノルムから逸脱する全体の偏差を抑え込む。
• 全ペアに対してユニオンバウンドを適用することで、ペア単位の確率的保証を、高確率での全般的な保証に拡張する。
• 指数モーメント法と不等式 $ \frac{1}{2}(e^x + e^{-x}) \leq e^{x^2/2} $ を用いて、集中境界を導出する。
• 定理 1.2 が定理 1.1 の特別な場合であることを示し、$ \Delta_i = 2\Delta $ および $ \mathbb{E}[M] = 0 $ と設定することで確認する。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおいて、ペアワイズ距離を高確率で保存するには、どの程度のランダムプロジェクションが必要か？
• RQ2 高次元の長方形内にある点の数を正確に推定するためにランダムサンプリングが利用可能か？
• RQ3 領域内の点密度の高確率近似を保証するために必要な最小サンプル数は何か？
• RQ4 複数の事象が関与する際、ユニオンバウンドは集中不等式とどのように作用するか？
• RQ5 チェルノフ＝フーディング境界が有効であるための、逸脱パラメータ α に対する最もきつい条件は何か？

主な発見

• ジョンソン＝リンデンストラウス補題において、$ k = (8/\varepsilon^2)\ln(n/\delta) $ 個のランダムプロジェクションがあれば、すべてのペアワイズ距離が $ 1\pm\varepsilon $ の要因内で保たれ、確率 $ 1-\delta $ 以上で成立する。
• 各プロジェクション成分 $ \phi_i(p) $ の期待値は $ \mathbb{E}[X_i] = 1/k $ であり、分散は $ \text{Var}[X_i] \leq 1/k^2 $ で抑えられる。
• 定理 1.3 を用いることで、1つのペアに対しては $ k \geq (4/\varepsilon^2)\ln(2/\gamma) $ の次元が必要であり、ユニオンバウンドにより全 $ n^2 $ ペアに対しては $ k \geq (8/\varepsilon^2)\ln(n/\delta) $ に増加する。
• サブセットサンプリングにおいて、チェルノフ＝フーディング境界により、サイズ $ O(\log(1/\delta)/\varepsilon^2) $ のランダムサンプルが、任意の軸に平行な長方形内での真のカウントを確率 $ 1-\delta $ 以上で $ (1\pm\varepsilon) $-近似として提供する。
• ユニオンバウンドは独立事象に対してもほぼタイトであることが示され、$ \delta/t $ と $ \ln(1/(1-\delta))/t $ が $ \delta $ が小さい場合に漸近的に同値であることが確認されている。
• チェルノフ＝フーディング不等式の証明は、指数関数の凸性と不等式 $ \frac{1}{2}(e^x + e^{-x}) \leq e^{x^2/2} $ に依存しており、これが最終的な境界の導出を可能にしている。