[论文解读] Likelihood inference in the presence of nuisance parameters

Nancy Reid, D. A. S. Fraser|ArXiv.org|Dec 11, 2003

Advanced Statistical Methods and Models参考文献 8被引用 20

一句话总结

本文提出了一种基于三阶似然的推断方法，用于在存在干扰参数的情况下进行参数估计和假设检验，通过调整的轮廓似然和规范参数化来提高准确性。该方法引入了一个基于三阶近似的p值函数，其表现优于标准方法，尤其在小样本或非正则模型中表现更优。

ABSTRACT

We describe some recent approaches to likelihood based inference in the presence of nuisance parameters. Our approach is based on plotting the likelihood function and the $p$-value function, using recently developed third order approximations. Orthogonal parameters and adjustments to profile likelihood are also discussed. Connections to classical approaches of conditional and marginal inference are outlined.

研究动机与目标

• 开发在统计模型中存在干扰参数时的精确似然推断方法。
• 解决标准轮廓似然的局限性，特别是其在小样本中的偏差和覆盖不足问题。
• 提供一种实用且计算可行的方法，利用三阶渐近近似计算p值和置信区间。
• 通过规范参数化框架统一并推广经典方法（如条件似然和边际似然）。
• 在比率泊松均值和指数回归等问题中提升推断准确性，这些问题中标准方法可能失效或存在偏差。

提出的方法

• 使用似然比抽样分布的三阶渐近近似，提升p值精度，超越一阶方法。
• 在数据点处局部计算规范参数化 φ(θ)，用于定义p值函数，增强不变性与可解释性。
• 通过涉及观测费雪信息和干扰参数空间曲率的校正项，对轮廓似然进行调整。
• 采用 r*-变换：r* = rp + (1/rp) log(Q/rp)，其中 rp 为有符号根似然比，Q 用于调整干扰参数的影响。
• 为离散模型（如泊松分布）引入中位p值方法，以减少假设检验中的保守性。
• 通过证明调整的轮廓似然在指数族中近似于这些精确方法，将该方法与经典条件似然和边际似然联系起来。

实验结果

研究问题

• RQ1 当存在干扰参数时，特别是小样本中，如何改进似然推断？
• RQ2 正交参数在简化推断和提升似然推断方法精度方面起什么作用？
• RQ3 三阶p值函数近似是否能提供比标准一阶方法更优的覆盖性和大小性质？
• RQ4 在指数族中，调整的轮廓似然与条件似然和边际似然相比如何？
• RQ5 在何种情形下，所提出的方法优于传统的似然比检验或Wald区间？

主要发现

• 三阶p值近似在i.i.d.抽样中达到相对误差 O(n^{-3/2})，显著优于一阶方法。
• 在泊松均值比问题中，该方法得到中位p值 0.00521，比保守的精确方法更合适。
• 在指数回归中，该方法正确考虑了当 Σxi ≠ 0 时参数正交性的缺失，避免了误导性推断。
• 调整的轮廓似然在如示例1中的二项分布模型等线性指数族中，与条件似然非常接近。
• 规范参数化 φ(θ) 确保了重参数化下的不变性，并支持在不同参数化下的一致p值计算。
• r*-变换提供了一种稳健且精确的p值函数，在模拟和理论模型中均优于标准似然比和Wald方法。