[論文レビュー] On the Bennett-Hoeffding inequality

Iosif Pinelis|arXiv (Cornell University)|Feb 24, 2009

Probability and Risk Models参考文献 38被引用数 4

ひとこと要約

この論文は、独立で有界かつ平均が0の確率変数の和に対して、三番目の原点モーメントを切り捨てたものを取り入れ、指数関数のクラスをより広い一般化モーメント関数のクラスに置き換えることで、Bennett-Hoeffdingの不等式を精緻化する。一般化モーメント関数は増加性、凸性、および二階導関数の凸性を満たす。得られる不等式は、歪度が小さい場合に特にタイトであり、最適性の性質を示す。この手法はマルティングールおよびスーパーマルティングールへも拡張可能である。

ABSTRACT

The well-known Bennett-Hoeffding bound for sums of independent random variables is refined, by taking into account truncated third moments, and at that also improved by using, instead of the class of all increasing exponential functions, the much larger class of all generalized moment functions f such that f and f" are increasing and convex. It is shown that the resulting bounds have certain optimality properties. Comparisons with related known bounds are given. The results can be extended in a standard manner to (the maximal functions of) (super)martingales.

研究の動機と目的

• 分散を超える高次モーメントの情報を組み込むことで、古典的なBennett-Hoeffding不等式を改善すること。
• 独立で有界な確率変数の和について、尾部確率 P(S ≥ x) のよりタイトな上界を求める。
• 制限的な指数関数のクラスを、凸性と単調性を保つより広い一般化モーメント関数のクラスに置き換えること。
• 分散と歪度を固定したパラメータ下での新しい不等式の最適性の性質を確立すること。
• 標準的な確率的技法を用いて、新たな不等式をマルティングールおよびスーパーマルティングールへ拡張すること。

提案手法

• f および f'' が増加的かつ凸であるような新しい関数のクラス f を導入し、古典的な不等式で用いられる指数関数を一般化する。
• 切り捨てられた三番目のモーメント β⁺₃ = Σ E[(Xᵢ)₃⁺] を組み込むことで、E[e^{λS}] の改良された上界を導出する。
• PU(x) = inf_{λ>0} exp(-λx) × PUexp(λ) という新しい尾部境界を構築し、PUexp(λ) には ε = β⁺₃ / (σ²y) を含む補正項を含む。
• 一般化モーメント関数の構造を活用して、λ > 0 における尾部境界の最小化を変分的アプローチで行う。
• 標準的なマルティングール技法を用いて、結果を (スーパーマルティングール) へ拡張する。
• 解析的および記号計算（Mathematica を用いて）により、複数のパrameter領域において重要な式の正値性を検証し、不等式の有効性を保証する。

実験結果

リサーチクエスチョン

• RQ1 分散を超える三番目のモーメントの情報を組み込むことで、Bennett-Hoeffding不等式を改善できるか？
• RQ2 指数関数のクラスをより広い一般化モーメント関数のクラスに置き換えることで、よりタイトで最適な尾部境界が得られるか？
• RQ3 大偏差領域において、新しい不等式は古典的不等式と比べてどのように漸近的挙動を示すか？
• RQ4 固定された分散および歪度パラメータ下での新しい不等式の最適性構造はいかなるものか？
• RQ5 精緻化された不等式は、同様のタイトさを保ちながら (スーパーマルティングール) プロセスへ拡張可能か？

主な発見

• すべての x ≥ 0 に対して、新しい境界 PU(x) は古典的なBennett-Hoeffding不等式 BH(x) よりも厳密にタイトであり、特に ε = β⁺₃ / (σ²y) ≪ 1 の場合に顕著な改善が得られる。
• λ, y, σ², ε が固定されたとき、PUexp(λ) は E[e^{λS}] の正確な上界であるため、このパrameterセットにおいて最適性が確立される。
• 大きな x に対して、新しい不等式は古典的な指数関数的不等式が欠落させている 1/x 要素を回復し、正規近似を上回る正しい尾部減衰率を回復する。
• Ea(x) = inf_{t∈(0,x)} E[(|Z|−t)₃⁺]/(x−t)³ は、Eaton型比較不等式下で P(|S| ≥ x) の最良の可能な上界を提供する。
• この手法は、マルティングールおよびスーパーマルティングールへ拡張可能であり、不等式のタイトさと最適性を保つ。
• Mathematica を用いた記号的検証により、すべてのパrameter領域において重要な式の正値性が確認され、解析的導出の妥当性が裏付けられる。