[论文解读] Construction of Confidence Intervals

Christoph Dalitz|arXiv (Cornell University)|Jul 10, 2018

Statistical Methods and Bayesian Inference参考文献 9被引用 7

一句话总结

本技术报告对多种估计量（包括二项比例、均值和最大似然（ML）估计量）的置信区间构建方法——频率学派、似然比、贝叶斯（HPD）和自助法——进行了全面比较。基于蒙特卡洛模拟显示的覆盖概率与区间长度权衡，报告推荐：对于比例使用Wilson区间，对于均值使用t区间，对于光滑ML估计量使用Hessian或刀切法区间，对于非光滑或任意估计量使用BCa自助法。

ABSTRACT

Introductory texts on statistics typically only cover the classical "two sigma" confidence interval for the mean value and do not describe methods to obtain confidence intervals for other estimators. The present technical report fills this gap by first defining different methods for the construction of confidence intervals, and then by their application to a binomial proportion, the mean value, and to arbitrary estimators. Beside the frequentist approach, the likelihood ratio and the highest posterior density approach are explained. Two methods to estimate the variance of general maximum likelihood estimators are described (Hessian, Jackknife), and for arbitrary estimators the bootstrap is suggested. For three examples, the different methods are evaluated by means of Monte Carlo simulations with respect to their coverage probability and interval length. R code is given for all methods, and the practitioner obtains a guideline which method should be used in which cases.

研究动机与目标

• 为解决在均值的古典‘两倍标准差’规则之外缺乏系统性置信区间构建指导的问题。
• 评估并比较多种置信区间方法——频率学派、似然比、HPD和自助法——在不同估计量上的表现。
• 基于覆盖概率和区间长度等经验性能指标，提供实用建议。
• 为所有方法提供R语言代码实现，以支持可重复研究和实际应用。
• 明确在模型复杂度较高或似然函数不光滑时，参数方法应优先于非参数自助法的场景。

提出的方法

• 定义关键概念：估计量、覆盖概率、似然比和后验密度，用于统计推断。
• 对ML估计量采用频率学派方法，通过Hessian矩阵或刀切法重抽样估计标准误。
• 使用似然比方法构建置信区间，其中对数似然值超过某一阈值（例如最大值的1/8）。
• 在非信息先验下，于贝叶斯框架中应用最高后验密度（HPD）方法。
• 当参数假设不成立时，对任意估计量采用自助法——特别是基本法、百分位数法和BCa法。
• 通过10^6次重复的蒙特卡洛模拟，评估不同分布（二项分布、正态分布、指数分布）下的覆盖概率与平均区间长度。

实验结果

研究问题

• RQ1 对于二项比例，哪种置信区间方法的覆盖概率最准确？与Wilson和HPD区间相比表现如何？
• RQ2 在正态抽样下，经典t区间、基于Hessian矩阵和基于刀切法的区间在均值估计中的表现如何？
• RQ3 在非正态或偏态分布中，自助法区间（基本法、百分位数法、BCa法）相对于参数区间的性能如何？
• RQ4 为何自助法在小样本中有时导致覆盖概率低于名义水平？
• RQ5 在何种场景下应优先选择参数方法而非自助法？估计量偏差在区间覆盖中起什么作用？

主要发现

• Wilson区间在p = 0或1附近优于标准正态近似法，因其具有更优的覆盖概率。
• 对于正态分布的均值，经典t区间提供最准确的覆盖概率，与名义水平偏差最小。
• 对于具有光滑对数似然函数的ML估计量，基于Hessian矩阵的标准误具有最佳覆盖概率，其次为刀切法估计。
• 在偏态或非正态条件下，BCa自助法区间在覆盖概率方面始终优于基本法和百分位数法。
• 自助法虽具有普适性，但常导致覆盖概率低于名义水平，尤其当ML估计量存在偏差时（如指数分布情形）。
• 基于Hessian矩阵的区间通过估计标准误与估计量偏差之间的相关性，对偏差进行补偿，从而在区间变宽的情况下仍能提升覆盖概率。