[论文解读] Several Applications of Divergence Criteria in Continuous Families

Michel Broniatowski, Igor Vajda|ArXiv.org|Nov 4, 2009

Advanced Statistical Methods and Models参考文献 12被引用 32

一句话总结

本文在连续指数族中引入并比较了四种基于散度的估计量——幂超散度、子散度、伪距离和Rényi伪距离估计量，重点研究其一致性、影响函数及稳健性。主要贡献在于证明了正态尺度分布的Rényi伪距离估计量具有稳健性，其影响函数有界且在无穷远处衰减至零，在污染模型中优于其他估计量。

ABSTRACT

This paper deals with four types of point estimators based on minimization of information-theoretic divergences between hypothetical and empirical distributions. These were introduced (i) by Liese & Vajda (2006) and independently Broniatowski & Keziou (2006), called here power superdivergence estimators, (ii) by Broniatowski & Keziou (2009), called here power subdivergence estimators, (iii) by Basu et al. (1998), called here power pseudodistance estimators, and (iv) by Vajda (2008) called here Renyi pseudodistance estimators. The paper studies and compares general properties of these estimators such as consistency and influence curves, and illustrates these properties by detailed analysis of the applications to the estimation of normal location and scale.

研究动机与目标

• 分析并比较连续统计族中四种基于散度的估计量的一般性质——一致性与影响函数。
• 研究这些估计量在模型污染下的稳健性。
• 对正态位置尺度族中的其行为进行详细分析。
• 通过理论分析与模拟实验，证明Rényi伪距离估计量在对抗异常值方面表现出优越的稳健性。

提出的方法

• 使用φ-散度与幂散度，通过严格凸函数φ ∈ Φ定义，满足φ(1) = 0，并在t = 0处连续延拓。
• 应用对偶关系φ* = tφ(1/t)，推导出偏斜对称性性质Dφ(Q,P) = Dφ*(P,Q)。
• 通过最小化经验分布与模型分布之间散度的方式，定义四种估计量类型：幂超散度、子散度、伪距离与Rényi伪距离估计量。
• 利用泛函δ方法与隐函数定理推导影响函数，并在真实分布处进行评估。
• 对正态尺度模型中的Rényi估计量进行影响函数的显式计算，表明其依赖于α与σ。
• 利用Fisher一致性与测度变换技术，通过pσα(x)计算影响函数表达式中的积分。

实验结果

研究问题

• RQ1 在稳健性与尾部行为方面，幂超散度、子散度、伪距离与Rényi伪距离估计量的影响函数如何比较？
• RQ2 Rényi伪距离估计量在正态尺度参数下是否稳健，表现为有界且衰减的影响函数？
• RQ3 Rényi伪距离估计量在正态位置尺度族中的影响函数的解析形式为何？
• RQ4 当|x| → ∞时，Rényi估计量的影响函数如何变化，这对异常值抵抗能力有何含义？
• RQ5 模拟实验能否证实Rényi估计量在污染正态模型中相对于其他基于散度的估计量具有理论上的稳健性优势？

主要发现

• 正态尺度分布的Rényi伪距离估计量的影响函数为IF(x; Tα, Pσ) = (1+α)^{5/2}σ/2 × [(x/σ)^2 − 1/(1+α)] × exp(−αx²/(2σ²))。
• 当|x| → ∞时，影响函数衰减至零，表明极端异常值的影响逐渐减弱。
• 对于所有α > 0，影响函数均有界，证实了Rényi伪距离估计量的稳健性。
• 积分Υα(Pσ)的值为−2/(1+α)^{5/2}，与σ无关，从而简化了影响函数的表达式。
• Rényi估计量的影响函数在α → 0时与MLE一致，确认其与经典估计的一致性。
• 模拟实验（由MSc学生Radim Demut支持）证实了Rényi估计量在污染模型(1−ε)Pσ + εQσ（其中Q ∈ {P₃, P₁₀, Logistic, Cauchy}）中的理论稳健性。