[論文レビュー] Five Proofs of Chernoff's Bound with Applications

Wolfgang Mulzer|arXiv (Cornell University)|Jan 10, 2018

advanced mathematical theories参考文献 19被引用数 3

ひとこと要約

本稿では、モーメント生成関数、シュヴァトゥルの組合せ的技法、イムパリアッゾ・カバネーツの構成的アプローチ、エントロピー法、タイプの法という、異なる数学的技法を用いた、チェルノフの不等式の5つの異なる証明を提示している。各証明は、独自の一般化を生み出す。主な貢献は、各証明技法が、超幾何的分布や負に相関する確率変数などの、従属またはi.i.d.でない設定へ自然に拡張可能であることを示したことである。その際、Kullback-Leibler発散度を用いて、タイトな尾確率の境界が得られる。

ABSTRACT

We discuss five ways of proving Chernoff's bound and show how they lead to different extensions of the basic bound.

研究の動機と目的

• チェルノフの不等式の背後にある原理をより深く理解するために、概念的に異なる複数の証明を提供すること。
• 各証明技法が、i.i.d.ベルヌーイ試行を超えるさまざまな一般化を可能にすることを示すこと。
• KL発散度を用いて、さまざまな集中不等式（例：フーディング、ベルシュタイン）を共通の枠組みに統合すること。
• チェルノフの不等式を、取り出しを伴わないサンプリングや負に相関する変数などの非独立な設定に拡張すること。
• エントロピーと期待値の方法を用いて、尾確率の構成的および情報理論的解釈を提供すること。

提案手法

• パラメータ λ における最適化を介して、指数的モーメント生成関数とマルコフの不等式を用いたモーメント法により、境界を導出する。
• τ ≥ 1 のパラメータと二項展開を用いたシュヴァトゥルの方法により、組合せ的に尾確率を評価する。
• 確率的部分集合選択を用いたイムパリアッゾ・カバネーツの方法により、条件付き期待値の境界を用いて構成的証明を導出する。
• 経験分布のエントロピーを分析し、タイプの法を適用して尾確率の境界を導出する情報エントロピー法を用いる。
• タイプの法を活用し、尾確率を分布間の相対エントロピー（KL発散度）として解釈する。
• 特に超幾何的および負に相関する設定において、確率的カップリングと期待値の不等式を用いて一般化を証明する。

実験結果

リサーチクエスチョン

• RQ1 チェルノフの不等式の異なる証明技法は、どのように異なる一般化を生み出すか？
• RQ2 組合せ的技法を用いて、取り出しを伴わないサンプリングにおいてチェルノフの不等式を拡張できるか？
• RQ3 チェルノフの不等式における独立性の仮定をどの程度緩和しても、尾確率の境界が保たれるか？
• RQ4 KL発散度は、異なる証明フレームワークにおいて、どのように集中境界に自然に現れるか？
• RQ5 構成的または情報理論的証明は、古典的なモーメントに基づく手法と比較して、よりタイトまたは解釈性の高い境界を生み出せるか？

主な発見

• モーメント法により、モーメント生成関数の最適化を経て、標準的なチェルノフの不等式が得られ、exp(−n D_KL(p+t||p)) の形で表現される。
• シュヴァトゥルの方法は超幾何分布へ一般化可能であり、取り出しを伴わない場合に Pr[H(N,P,n) ≥ (p+t)n] ≤ exp(−n D_KL(p+t||p)) が成り立つことを示した。
• イムパリアッゾ・カバネーツの方法は、負に相関する確率変数へ拡張可能であり、E[∏_{i∈I} X_i] ≤ ∏_{i∈I} p_i が成り立つ場合、同じ尾確率の境界が得られる。
• エントロピー法とタイプの法は、経験分布と期待分布の間の相対エントロピーとして、境界の洗練された情報理論的解釈を提供する。
• 5つの証明技法すべてが、KL発散度に基づく同じ尾確率の境界を導くが、それぞれが異なる構造的洞察を明らかにし、独自の拡張を可能にする。
• 本稿では、KL発散度項 D_KL(p+t||p) が指数的尾確率境界における最適な指数であることが確立され、すべての手法においてタイトさが確認された。