[论文解读] Higher order asymptotics of Generalized Fiducial Distribution

Abhishek Pal Majumder, Jan Hannig|arXiv (Cornell University)|Aug 25, 2016

Statistical Distribution Estimation and Applications参考文献 24被引用 6

一句话总结

本文为广义置信分布（GFD）建立了高阶渐近理论，确定了置信覆盖概率达到二阶频率学派精确性的条件。通过将收缩法（shrinkage method）适配于分析置信分位数覆盖中的高阶项，作者推导出使一阶与二阶误差项消失的显式正则性条件，从而在单参数模型中构建出具有改进频率学派校准的GFD。

ABSTRACT

Generalized Fiducial Inference (GFI) is motivated by R.A. Fisher's approach of obtaining posterior-like distributions when there is no prior information available for the unknown parameter. Without the use of Bayes' theorem GFI proposes a distribution on the parameter space using a technique called increasing precision asymptotics \cite{hannig2013generalized}. In this article we analyzed the regularity conditions under which the Generalized Fiducial Distribution (GFD) will be first and second order exact in a frequentist sense. We used a modification of an ingenious technique named "Shrinkage method" \cite{bickel1990decomposition}, which has been extensively used in the probability matching prior contexts, to find the higher order expansion of the frequentist coverage of Fiducial quantile. We identified when the higher order terms of one-sided coverage of Fiducial quantile will vanish and derived a workable recipe for obtaining such GFDs. These ideas are demonstrated on several examples.

研究动机与目标

• 研究广义置信分布（GFD）在超越一阶渐近理论下的频率学派覆盖精度。
• 识别使置信分位数覆盖中高阶项消失的正则性条件，从而实现二阶精确性。
• 通过选择适当的生成数据方程，提出一种构建具有改进频率学派性质的GFD的实用方法。
• 通过形式化高阶渐近行为，扩展置信推断在非正则模型中的适用性。

提出的方法

• 将此前用于概率匹配先验的收缩法适配于分析置信覆盖概率的高阶展开。
• 推导出一维置信覆盖概率的高阶渐近展开，精确至 $ o(n^{-1}) $ 阶，包含费雪信息、得分函数及高阶矩量的项。
• 使用生成数据方程（DGE）$ \mathbf{X} = G(\mathbf{U}, \theta) $ 定义GFD，其中 $ \mathbf{U} $ 为与 $ \theta $ 独立的均匀分布随机向量。
• 通过弱收敛论证，令 $ \bar{\pi}(\theta) \to \delta_{\theta_0}(\theta) $，推导覆盖误差项的极限表达式。
• 推导出覆盖中一阶与二阶误差项的显式表达式，涉及 $ I_\theta $、$ J(\theta_0, \theta) $ 与 $ M_\theta $（三阶矩量）。
• 识别出当 $ I_\theta $、$ J $ 与 $ M_\theta $ 的特定导数组合满足某一微分条件时，二阶项消失，从而导出构建高阶精确GFD的方案。

实验结果

研究问题

• RQ1 广义置信分布何时在频率学派意义下达到一阶精确性？
• RQ2 置信覆盖概率中的二阶误差项在何种条件下消失，从而实现二阶频率学派精确性？
• RQ3 如何将收缩法适配于分析单参数模型中置信推断的高阶渐近行为？
• RQ4 对生成数据方程施加何种条件，可确保置信分布的改进频率学派校准？
• RQ5 能否推导出一种系统性方法，用于构建高阶覆盖误差消失的GFD？

主要发现

• 置信分位数的一阶覆盖误差为 $ n^{-1/2} $ 阶，其系数由 $ \Delta_1(\theta_0) $ 明确给出，涉及费雪信息的导数与比值 $ J'(\theta_0, \theta)/J(\theta_0, \theta) $。
• 二阶覆盖误差为 $ n^{-1} $ 阶，其系数 $ \Delta_2(\theta_0) $ 综合了置信校正函数 $ \alpha(\theta) $ 的导数、得分函数以及 $ a_n^1(\mathbf{X}, \theta) $ 的期望。
• 当表达式 $ \frac{d}{d\theta} \left[ \frac{1}{6}I^{-2}_{\theta}M_{\theta}J(\theta_0,\theta) - \frac{1}{2}I^{-1}_{\theta}J'(\theta_0,\theta) - \frac{1}{2}J(\theta_0,\theta)\frac{d}{d\theta}I^{-1}_{\theta} \right] $ 在 $ \theta = \theta_0 $ 处为零时，二阶项消失。
• 推导出构建高阶精确GFD的方案：当生成数据方程满足上述微分表达式在 $ \theta_0 $ 处为零的条件时，置信区间可实现二阶频率学派精确性。
• 该方法可通过选择满足推导出的正则性条件的DGE，实现即使在非正则模型中，GFD也渐近精确至二阶。
• 通过多个实例验证了结果，表明所推导的条件在实践中可被满足，从而得到具有改进覆盖性质的置信区间。