[论文解读] Fano's inequality for random variables

Sébastien Gerchinovitz, Pierre Ménard+1 more|arXiv (Cornell University)|Feb 17, 2017

Advanced Bandit Algorithms Research参考文献 29被引用 5

一句话总结

本文将费诺不等式推广至任意 [0,1]-取值的随机变量和非划分事件，利用一种新颖的伯努利约化方法与 f-散度的数据处理不等式。核心贡献是一个灵活的框架，可实现贝叶斯后验集中度与非随机序列学习遗憾下界的新颖、简洁证明，其应用涵盖改进的 Pinsker 不等式与 Bretagnolle-Hubert 不等式。

ABSTRACT

We extend Fano's inequality, which controls the average probability of events in terms of the average of some $f$--divergences, to work with arbitrary events (not necessarily forming a partition) and even with arbitrary $[0,1]$--valued random variables, possibly in continuously infinite number. We provide two applications of these extensions, in which the consideration of random variables is particularly handy: we offer new and elegant proofs for existing lower bounds, on Bayesian posterior concentration (minimax or distribution-dependent) rates and on the regret in non-stochastic sequential learning.

研究动机与目标

• 将费诺不等式从划分事件和离散假设推广至任意 [0,1]-取值的随机变量与连续分布族。
• 通过伯努利约化与 f-散度的数据处理不等式，提供一个统一框架，推导统计学习理论中的新下界。
• 为贝叶斯后验集中度与序列学习中的现有极小化最大下界与分布相关下界，提供更简单、更优美的证明。
• 通过基于伯努利的方法，建立更紧的 Kullback-Leibler 散度不等式，包括改进的 Pinsker 不等式与更优的 Bretagnolle-Hubert 边界。
• 展示将随机变量视为不强制和为 1 的处理方式在贝叶斯与序列决策问题中的实用性。

提出的方法

• 引入一种伯努利约化技术，将一般 [0,1]-取值的随机变量映射至伯努利分布，从而可应用 f-散度的界。
• 利用随机变量期望的数据处理不等式，可处理任意事件与非划分结构。
• 对 Kullback-Leibler 散度在参数 q 处进行二阶泰勒展开，推导函数 f(p) = KL(p,q)/(p−q)² 的凸性与最小化性质。
• 利用所得函数 f 的凸性与对称性，推导两个伯努利分布之间 f-散度的紧下界。
• 利用数据处理不等式，将边界从伯努利分布扩展至一般分布，尤其适用于总变差与检验相似性。
• 通过将复杂的 f-散度问题约化为伯努利分布上的基本界，推导新不等式，实现简洁而富有洞察力的证明。

实验结果

研究问题

• RQ1 如何将费诺不等式推广至不强制和为 1 的任意 [0,1]-取值随机变量？
• RQ2 费诺不等式的框架能否扩展至多假设检验中的非划分事件？
• RQ3 在费诺型界中，若替代分布 Q 随 θ 变化，其含义为何？
• RQ4 伯努利约化技术如何用于推导 f-散度与 KL 散度的更紧边界？
• RQ5 该框架能否为贝叶斯后验集中度与序列学习遗憾中的已知下界，提供更简单或更具洞察力的证明？

主要发现

• 本文建立了适用于任意 [0,1]-取值随机变量 Zθ 的广义费诺型不等式，无需满足 ∑Zθ = 1 或 ∫Zθ dθ = 1。
• 证明了函数 f(p) = KL(p,q)/(p−q)² 的最小值在 p = 1−q 处取得，且 f(1−q) = ϕ(q) ≥ 2 对所有 q ∈ (0,1) 成立，等号仅在 q = 1/2 时成立。
• 推导出改进的 Pinsker 不等式：|P(A)−Q(A)| ≤ √(KL(P,Q)/ϕ(Q(A)))，其中 ϕ(q) ≥ 2，优于经典 Pinsker 边界。
• 证明了改进的 Bretagnolle-Hubert 不等式：1−|p−q| ≥ e⁻¹ᐟᵉ e⁻KL(p,q)，其中 e⁻¹ᐟᵉ ≈ 0.69，优于原始的 1/2 因子。
• 该框架实现了贝叶斯后验集中度下界的新、简化证明，包括分布相关速率。
• 该方法通过直接分析伯努利分布及其 f-散度，给出了改进的 Pinsker 不等式的新、初等证明。