[论文解读] A Likelihood Ratio Approach for Probabilistic Inequalities

Xinjia Chen|arXiv (Cornell University)|Aug 18, 2013

Probabilistic and Robust Engineering Design参考文献 11被引用 4

一句话总结

本文提出了一种似然比方法，用于推导更紧致、更具普适性的概率不等式，而无需依赖矩生成函数。通过利用单调似然比并优化参数化边界函数，该方法获得了优于经典切尔诺夫型不等式的集中界，尤其适用于矩阵值和重尾分布。

ABSTRACT

We propose a new approach for deriving probabilistic inequalities based on bounding likelihood ratios. We demonstrate that this approach is more general and powerful than the classical method frequently used for deriving concentration inequalities such as Chernoff bounds. We discover that the proposed approach is inherently related to statistical concepts such as monotone likelihood ratio, maximum likelihood, and the method of moments for parameter estimation. A connection between the proposed approach and the large deviation theory is also established. We show that, without using moment generating functions, tightest possible concentration inequalities may be readily derived by the proposed approach. We have derived new concentration inequalities using the proposed approach, which cannot be obtained by the classical approach based on moment generating functions.

研究动机与目标

• 开发一种比经典方法（如切尔诺夫界）更通用、更强大的概率不等式推导框架。
• 消除对矩生成函数的依赖，因为某些分布下矩生成函数可能难以计算或未定义。
• 建立所提方法与核心统计概念（如单调似然比、最大似然估计和矩法）之间的联系。
• 推导出经典基于矩生成函数的方法无法获得的新集中不等式。
• 为高维和矩阵值情形下的尾概率提供更紧致、更具洞察力的界。

提出的方法

• 通过参数化函数 $ w(\boldsymbol{X}, \boldsymbol{\theta}) $ 对事件的指示函数进行有界，确保 $ \mathbb{I}_{\{\boldsymbol{X} \in \mathscr{E}\}} \leq w(\boldsymbol{X}, \boldsymbol{θ}) $ 几乎必然成立。
• 在参数 $ \boldsymbol{θ} \in \Theta $ 上最小化期望值 $ \mathbb{E}[w(\boldsymbol{X}, \boldsymbol{θ})] $，以获得 $ \Pr\{\boldsymbol{X} \in \mathscr{E}\} $ 的最紧上界。
• 引入一种似然比框架，其中边界由密度之比导出，特别采用 $ \rho(\boldsymbol{x}, \boldsymbol{\theta}) = \alpha \ln|\boldsymbol{\theta}| - \frac{1}{\beta} \text{tr}(\boldsymbol{\theta}^{-1}\boldsymbol{x}) $，其关于 $ \boldsymbol{x} $ 为线性形式。
• 将该方法应用于威沙特分布的随机矩阵，通过在 $ \boldsymbol{\theta} \succ \boldsymbol{\Sigma} $ 上优化，推导出 $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \succ \boldsymbol{z}\} $ 和 $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \prec \boldsymbol{z}\} $ 的界。
• 利用恒等式 $ \frac{f(\boldsymbol{z})}{g(\boldsymbol{z}, \boldsymbol{\theta})} = \left(\frac{e}{\alpha\beta}\right)^{p\alpha} \left(\frac{|\boldsymbol{z}|}{|\boldsymbol{\Sigma}|}\right)^\alpha \exp\left(-\frac{1}{\beta}\text{tr}(\boldsymbol{\Sigma}^{-1}\boldsymbol{z})\right) $ 将边界表达为闭式。
• 推导出最终边界 $ \Pr\{\boldsymbol{X} \succ \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $，其中 $ \varrho \geq 1 $，并对 $ \varrho \in (0,1] $ 给出对称边界。

实验结果

研究问题

• RQ1 似然比框架能否产生比经典基于矩生成函数的方法更紧致的集中不等式？
• RQ2 所提方法与单调似然比、最大似然估计等既定统计概念有何关联？
• RQ3 该方法能否推导出经典切尔诺夫或霍夫丁型界无法实现的新不等式？
• RQ4 参数优化在最小化期望边界函数以获得最紧可能的尾部界中起什么作用？
• RQ5 该方法如何扩展至矩阵值随机变量，特别是威沙特分布的矩阵？

主要发现

• 似然比方法产生的集中不等式比经典方法更紧致，尤其在矩生成函数未定义或难以计算时表现更优。
• 该方法建立了概率不等式与单调似然比、最大似然估计和矩法等核心统计概念之间的直接联系。
• 对于威沙特分布的矩阵，本文推导出边界 $ \Pr\{\boldsymbol{X} \succ \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $（$ \varrho \geq 1 $），该边界无法通过矩生成函数技术获得。
• 通过设定 $ \boldsymbol{\theta} = \frac{\boldsymbol{z}}{\alpha\beta} $ 实现边界优化，且在给定约束下证明该表达式是紧致的。
• 该方法完全避免使用矩生成函数，从而可推导出重尾分布或非指数族分布的集中不等式。
• 通过对称推导，该方法可推广至上下尾界，得到 $ \Pr\{\boldsymbol{X} \prec \varrho\alpha\beta\boldsymbol{\Sigma}\} \leq \left[\varrho \exp(1 - \varrho)\right]^{np\alpha} $，其中 $ \varrho \in (0,1] $。