[论文解读] Chernoff Index for Cox Test of Separate Parametric Families

Xiaoou Li, Jingchen Liu+1 more|arXiv (Cornell University)|Jun 27, 2016

Statistical Methods and Inference参考文献 14被引用 4

一句话总结

本文在大偏差框架下，推导了非嵌套参数模型中广义似然比检验的Chernoff指数——一种渐近相对效率的度量。该研究确定了最大第一类与第二类错误概率的精确指数衰减率，为在先验无偏好假设下进行模型选择提供了决定性的效率基准。

ABSTRACT

The asymptotic efficiency of a generalized likelihood ratio test proposed by Cox is studied under the large deviations framework for error probabilities developed by Chernoff. In particular, two separate parametric families of hypotheses are considered [Cox, 1961, 1962]. The significance level is set such that the maximal type I and type II error probabilities for the generalized likelihood ratio test decay exponentially fast with the same rate. We derive the analytic form of such a rate that is also known as the Chernoff index [Chernoff, 1952], a relative efficiency measure when there is no preference between the null and the alternative hypotheses. We further extend the analysis to approximate error probabilities when the two families are not completely separated. Discussions are provided concerning the implications of the present result on model selection.

研究动机与目标

• 在非嵌套参数族的Chernoff框架下，建立广义似然比检验的渐近效率。
• 解决复合假设下计算Chernoff指数的开放问题，其中检验统计量涉及随机函数上确界的比值。
• 在零假设与备择假设之间无先验偏好假设下，基于第一类与第二类错误概率具有相等指数衰减率，提供相对效率度量。
• 将分析扩展至两组参数族不完全分离的情形，为近似错误概率提供洞察。
• 通过量化非嵌套设定下广义似然比检验的相对效率，支持模型选择。

提出的方法

• 将大偏差理论应用于广义似然比统计量 $ LR_n = \frac{\max_{\gamma \in \Gamma} \prod_{i=1}^n h_\gamma(X_i)}{\max_{\theta \in \Theta} \prod_{i=1}^n g_\theta(X_i)} $，其等价于 $ \exp(l_h(\hat{\gamma}) - l_g(\hat{\theta})) $。
• 将Chernoff指数定义为在大偏差框架下，最大第一类与第二类错误概率的共同指数衰减率 $ \rho $。
• 利用凸分析与Kullback-Leibler散度，推导出在零假设与备择假设模型下对数似然比的速率函数。
• 施加正则性条件，确保两组族之间的相互绝对连续性及有界分离，且对所有 $ \theta, \gamma $ 满足 $ \text{KL}(g_\theta, h_\gamma) \geq \delta > 0 $。
• 应用隐函数定理与二阶展开，分析最大化器 $ \hat{\theta}, \hat{\gamma} $ 及其相关得分函数的行为。
• 采用三角阵列的Lyapunov条件，证明在零假设下基于得分的检验统计量的渐近正态性。

实验结果

研究问题

• RQ1 在非嵌套参数模型中，广义似然比检验的最大第一类与第二类错误概率的精确渐近衰减率（即Chernoff指数）是什么？
• RQ2 当两组参数族不完全分离时，Chernoff指数如何变化？此类情况下的近似错误概率是什么？
• RQ3 在Chernoff框架下，当两类错误均以相同指数速率衰减时，能否为广义似然比检验分配一个相对效率度量？
• RQ4 Kullback-Leibler散度在确定非嵌套模型Chernoff指数中的作用是什么？
• RQ5 所提出的框架如何在无先验偏好假设的非嵌套设定下支持模型选择？

主要发现

• Chernoff指数 $ \rho $ 作为涉及两组参数族之间Kullback-Leibler散度的变分问题的解被推导出来。
• 在大偏差框架下，广义似然比检验实现了最优Chernoff指数，第一类与第二类错误概率均以速率 $ \rho $ 指数衰减。
• 当两组族之间存在正的Kullback-Leibler距离时，Chernoff指数严格为正，确保了非平凡的区分能力。
• 对于未分离的族，本文通过二阶展开推导出近似错误概率，表明衰减速率取决于两组族之间的距离。
• 在正则性条件下，基于得分的检验统计量的渐近正态性得以确立，支持大偏差近似的有效性。
• 所推导的Chernoff指数为非嵌套模型选择问题中广义似然比检验的比较提供了决定性基准。