[論文レビュー] Fano's inequality for random variables

Sébastien Gerchinovitz, Pierre Ménard+1 more|arXiv (Cornell University)|Feb 17, 2017

Advanced Bandit Algorithms Research参考文献 29被引用数 5

ひとこと要約

本稿は、Fanoの不等式を、[0,1]-値をとる任意の確率変数および非分割事象へと拡張し、f-発散のための新たなベルヌーイ還元法とデータ処理不等式を用いる。主な貢献は、ベイズ後立確率濃縮および非確率的逐次学習のレジリエンス下界について、新しい洗練された証明を可能にする柔軟なフレームワークを提供することであり、精密化された Pinsker および Bretagnolle-Hubert 不等式への応用も含む。

ABSTRACT

We extend Fano's inequality, which controls the average probability of events in terms of the average of some $f$--divergences, to work with arbitrary events (not necessarily forming a partition) and even with arbitrary $[0,1]$--valued random variables, possibly in continuously infinite number. We provide two applications of these extensions, in which the consideration of random variables is particularly handy: we offer new and elegant proofs for existing lower bounds, on Bayesian posterior concentration (minimax or distribution-dependent) rates and on the regret in non-stochastic sequential learning.

研究の動機と目的

• 分割済みの事象や離散的仮説にとどまらず、任意の[0,1]-値をとる確率変数および連続的な分布族へとFanoの不等式を一般化すること。
• f-発散のためのデータ処理不等式とベルヌーイ還元法を用いた統一的フレームワークを提供し、統計的学習理論における新たな下界を導出すること。
• ベイズ後立確率濃縮および逐次学習における既存のミニマックスおよび分布依存下界について、より簡単で洗練された証明を提供すること。
• ベルヌーイに基づくアプローチにより、Kullback-Leibler 発散のためのより鋭い不等式を確立し、精密化された Pinsker および改良された Bretagnolle-Hubert 界を導出すること。
• 特にベイズ的および逐次的意思決定問題において、確率変数が合計が1に制約されない扱い方の有用性を示すこと。

提案手法

• 一般の[0,1]-値をとる確率変数をベルヌーイ分布へ写像するベルヌーイ還元法を導入し、f-発散の境界への適用を可能にする。
• 確率変数の期待値に関するデータ処理不等式を活用し、任意の事象および非分割構造の取り扱いを可能にする。
• Kullback-Leibler 発散の2階テイラー展開をパラメータ q の周りで行い、関数 f(p) = KL(p,q)/(p−q)² の凸性および最小化性を導出する。
• 得られた関数 f の凸性および対称性を用いて、2つのベルヌーイ分布間のf-発散のタイトな下界を導出する。
• データ処理不等式を用いて、ベルヌーイ分布から一般の分布への境界の拡張を実現し、特に全変動およびテスト適合性の分野で有効である。
• 複雑なf-発散問題を、ベルヌーイ分布における基本的境界に還元することで、洗練され洞察に満ちた証明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 合計が1に等しくない[0,1]-値をとる任意の確率変数を扱えるように、Fanoの不等式をどのように一般化できるか？
• RQ2 複数の仮説検定における非分割事象へとFanoの不等式の枠組みを拡張することは可能か？
• RQ3 Fano型の境界において、代替分布 Q がθに依存する場合、どのような意味を持つのか？
• RQ4 ベルヌーイ還元法を用いて、f-発散およびKL発散のよりタイトな境界をどのように導出できるか？
• RQ5 このフレームワークにより、ベイズ後立確率濃縮および逐次学習における既知の下界の証明を、より簡単またはより洞察に満ちた形で得られるか？

主な発見

• 本稿は、∑Zθ = 1 または ∫Zθ dθ = 1 を要件としない、任意の[0,1]-値をとる確率変数 Zθ に対して一般化されたFano型不等式を確立した。
• 関数 f(p) = KL(p,q)/(p−q)² の最小値が p = 1−q で達成され、すべての q ∈ (0,1) に対して f(1−q) = ϕ(q) ≥ 2 が成り立ち、等号は q = 1/2 のみで成立することを証明した。
• 精密化されたPinsker不等式を導出した：|P(A)−Q(A)| ≤ √(KL(P,Q)/ϕ(Q(A))) で、ϕ(q) ≥ 2 であり、古典的Pinsker界を改善している。
• 改良されたBretagnolle-Hubert不等式を証明した：1−|p−q| ≥ e⁻¹ᐟᵉ e⁻KL(p,q) で、e⁻¹ᐟᵉ ≈ 0.69 であり、元の1/2の係数を改善している。
• フレームワークにより、ベイズ後立確率濃縮の下界について、新しい洗練された証明が可能になった。特に分布依存レートについても同様に適用可能である。
• ベルヌーイ分布の直接的解析とそのf-発散に基づき、精密化されたPinsker不等式の新たな、初等的な証明が得られた。