[论文解读] Estimation and tests for models satisfying linear constraints with unknown parameter

Michel Broniatowski, Amor Keziou|ArXiv.org|Nov 21, 2008

Advanced Statistical Methods and Models参考文献 32被引用 6

一句话总结

本文提出了一种用于估计具有未知参数线性约束的统计模型中参数和检验假设的散度最小化框架。通过扩展经验似然和广义经验似然方法，建立了最小散度估计量的渐近正态性和效率，模拟结果显示Hellinger散度表现出强稳健性和高效性。

ABSTRACT

We introduce estimation and test procedures through divergence minimization for models satisfying linear constraints with unknown parameter. Several statistical examples and motivations are given. These procedures extend the empirical likelihood (EL) method and share common features with generalized empirical likelihood (GEL). We treat the problems of existence and characterization of the divergence projections of probability measures on sets of signed finite measures. Our approach allows for a study of the estimates under misspecification. The asymptotic behavior of the proposed estimates are studied using the dual representation of the divergences and the explicit forms of the divergence projections. We discuss the problem of the choice of the divergence under various respects. Also we handle efficiency and robustness properties of minimum divergence estimates. A simulation study shows that the Hellinger divergence enjoys good efficiency and robustness properties.

研究动机与目标

• 开发基于包含未知参数的线性约束定义的统计模型的估计与检验程序。
• 将经验似然和广义经验似然方法扩展至处理线性约束中包含未知参数的模型。
• 利用对偶性和散度投影理论，研究在模型误设条件下最小散度估计量的渐近行为。
• 评估不同散度度量下最小散度估计量的效率与稳健性。
• 构建未知参数的置信区域，并在经验累积分布函数之外改进累积分布函数的估计。

提出的方法

• 使用散度最小化方法，将经验测度投影到满足线性约束的符号有限测度集合上。
• 应用散度的对偶表示，在正则条件下推导估计量的渐近分布。
• 采用散度投影框架刻画最小散度估计量的存在性与唯一性。
• 通过估计方程的泰勒展开和中心极限定理，推导参数估计的渐近正态性。
• 提出一种基于散度最小化权重的修正经验分布函数，优于标准的经验累积分布函数。
• 利用Hessian矩阵和信息矩阵的显式形式，推导累积分布函数估计量的渐近方差表达式。

实验结果

研究问题

• RQ1 如何利用散度最小化在包含未知参数的线性约束模型中进行估计与检验？
• RQ2 在模型误设条件下，最小散度估计量具有怎样的渐近性质？
• RQ3 在该框架中，哪种散度度量（如Hellinger、Kullback-Leibler）在效率与稳健性之间达到最佳平衡？
• RQ4 所提出的方法能否提供比经验累积分布函数更高效的累积分布函数估计？
• RQ5 累积分布函数估计量的渐近方差如何依赖于约束结构和散度选择？

主要发现

• 在正则条件下，所提出的最小散度估计量渐近正态，收敛速度为 $O_P(1/\nu{n})$。
• 累积分布函数估计量的渐近方差由 $W(x) = F(x)(1-F(x)) - [P_0(g(\theta_0)\bone_{(-∞,x]})]^T \Gamma [P_0(g(\theta_0)\bone_{(-∞,x]})]$ 给出，其中 $\Gamma$ 是依赖于约束和得分函数的矩阵。
• 在所提出的框架下，参数 $\theta_0$ 的估计量与散度投影 $c_{\theta}$ 的估计量渐近不相关。
• 模拟研究证实，Hellinger散度产生的估计量具有更优的效率与稳健性。
• 所提出的累积分布函数估计量在有限样本下表现优于经验累积分布函数，尤其在模型误设时表现更优。
• 当约束具有信息性时，由于投影到约束流形上，累积分布函数估计量的渐近方差相比经验累积分布函数有所减小。