[论文解读] Hoeffding's inequality in game-theoretic probability

Vladimir Vovk|ArXiv.org|Aug 18, 2007

Fuzzy Systems and Optimization参考文献 6被引用 6

一句话总结

本文通過證明霍夫丁原始證明在該框架下依然有效，於博弈論概率框架中確立了霍夫丁不等式。它利用指數加權構造了一個非負上鞅，從而得出平均偏差超過 $ t $ 的事件的上概率界為 $ e^{-2N^2t^2/C} $，其中 $ C = \sum_{n=1}^N (b_n - a_n)^2 $，進而將經典的集中不等式推廣至無模型、基於協議的概率理論。

ABSTRACT

This note makes the obvious observation that Hoeffding's original proof of his inequality remains valid in the game-theoretic framework. All details are spelled out for the convenience of future reference.

研究动机与目标

• 將霍夫丁的經典集中不等式推廣至博弈論概率框架，該框架無需測度論概率假設。
• 證明霍夫丁原始證明技術在基於協議、完全信息博弈設定下依然有效。
• 為有界隨機變數提供博弈論版本霍夫丁不等式的嚴謹、自包含推導。
• 透過展示關鍵大偏差結果可直接轉移，彙整測度論與博弈論概率之間的差距。

提出的方法

• 構造一個博弈論預測協議，其中預報者提供區間 $[a_n, b_n]$ 和期望 $\mu_n$，而實際者揭示 $x_n \in [a_n, b_n]$。
• 定義 sceptic 的資本作為一個透過對 $x_n - \mu_n$ 下注 $M_n$ 而演變的過程，且資本被約束為非遞增。
• 引入一個非負上鞅 $ \prod_{n=1}^N \exp\left(h(x_n - \mu_n) - \frac{h^2}{8}(b_n - a_n)^2\right) $，並透過凸性與泰勒展開論證證明其為有效上鞅。
• 利用上鞅性質，透過對參數 $ h $ 最小化，以界定事件 $ \frac{1}{N}\sum_{n=1}^N (x_n - \mu_n) \geq t $ 的上概率。
• 對關鍵表達式的對數應用二階泰勒展開，以 $ (b_n - a_n)^2 / 4 $ 界定其二階導數，確保不等式成立。

实验结果

研究问题

• RQ1 霍夫丁原始證明是否可無需測度論假設，適應至博弈論概率框架？
• RQ2 霍夫丁不等式的博弈論對應形式為何？其與經典版本有何關係？
• RQ3 如何在基於協議的博弈設定中構造上鞅，以獲得有界變數的集中界？
• RQ4 博弈論版本的霍夫丁不等式是否保留下與測度論情況相同的指數衰減速率？

主要发现

• 在博弈論預測協議下，過程 $ \prod_{n=1}^N \exp\left(h(x_n - \mu_n) - \frac{h^2}{8}(b_n - a_n)^2\right) $ 是一個非負上鞅。
• 事件 $ \frac{1}{N}\sum_{n=1}^N (x_n - \mu_n) \geq t $ 的上概率被界為 $ e^{-2N^2t^2/C} $，其中 $ C = \sum_{n=1}^N (b_n - a_n)^2 $。
• 使界最小化的參數 $ h $ 的最佳值為 $ h = 4Nt/C $，此值可產生最緊的指數衰減速率。
• 證明依賴於指數函數的凸性與二階泰勒展開，且二階導數被界為 $ (b_n - a_n)^2 / 4 $，確保不等式有效性。
• 該結果僅需最少假設：僅需區間 $[a_n, b_n]$ 和期望 $\mu_n$，且 sceptic 僅需知道 $ C $，無需知道個別的 $ a_n, b_n $。
• 博弈論版本的霍夫丁不等式在形式上等價於測度論版本的霍夫丁–阿祖馬不等式，但其推導無需任何機率假設。