[论文解读] Asymptotics of numerical integration for two-level mixed models

Alex Stringer, Blair Bilodeau+1 more|arXiv (Cornell University)|Feb 16, 2022

Statistical Methods and Bayesian Inference被引用 5

一句话总结

本文建立了两水平混合模型中自适应数值积分的首个全面渐近理论，证明自适应高斯求积法可产生一致的最大似然估计量，其大样本性质与精确似然推断相同。此外，本文进一步表明，在似然函数集中于其众数的模型中，非自适应积分方法无法产生一致估计量，从而确立了自适应方法在具有不可求积积分的混合模型中进行有效推断的必要性。

ABSTRACT

We study mixed models with a single grouping factor, where inference about unknown parameters requires optimizing a marginal likelihood defined by an intractable integral. Low-dimensional numerical integration techniques are regularly used to approximate these integrals, with inferences about parameters based on the resulting approximate marginal likelihood. For a generic class of mixed models that satisfy explicit regularity conditions, we derive the stochastic relative error rate incurred for both the likelihood and maximum likelihood estimator when adaptive numerical integration is used to approximate the marginal likelihood. We then specialize the analysis to well-specified generalized linear mixed models having exponential family response and multivariate Gaussian random effects, verifying that the regularity conditions hold, and hence that the convergence rates apply. We also prove that for models with likelihoods satisfying very weak concentration conditions that the maximum likelihood estimators from non-adaptive numerical integration approximations of the marginal likelihood are not consistent, further motivating adaptive numerical integration as the preferred tool for inference in mixed models. Code to reproduce the simulations in this paper is provided at https://github.com/awstringer1/aq-theory-paper-code.

研究动机与目标

• 为边际似然涉及不可求积积分的两水平混合模型中的数值积分发展严谨的渐近理论。
• 建立自适应数值积分产生与精确似然推断具有相同渐近性质的一致最大似然估计量的条件。
• 证明在归一化似然函数集中于其众数的模型中，非自适应积分规则无法产生一致估计量。
• 验证所推导的正则性条件在响应为指数族分布且随机效应为多元高斯分布的广义线性混合模型中成立。
• 为评估新混合模型设定中数值积分渐近有效性的通用、可验证框架。

提出的方法

• 推导自适应数值积分下近似似然与最大似然估计量的随机相对误差率。
• 提出一组显式、可验证的正则性条件（假设 2–7），针对响应和随机效应分布，以确保收敛性。
• 在这些条件下，证明基于自适应高斯求积的近似 MLE 是一致且渐近正态的，其极限分布与精确 MLE 相同。
• 验证正则性条件在响应为指数族分布且随机效应为多元高斯分布的广义线性混合模型中成立。
• 将似然近似在概率意义上的局部一致收敛作为关键技术工具，以建立主要收敛结果。
• 通过模拟和 GitHub 上的代码说明理论发现的实际影响。

实验结果

研究问题

• RQ1 在具有不可求积积分的两水平混合模型中，自适应数值积分在何种条件下可产生一致的最大似然估计量？
• RQ2 为何在似然函数集中于其众数的模型中，非自适应数值积分方法无法产生一致估计量？
• RQ3 能否证明基于自适应高斯求积的 MLE 的渐近性质与精确似然估计量相同？
• RQ4 自适应积分收敛所需的正则性条件是否足够一般且可验证，以适用于如广义线性混合模型等实际模型？
• RQ5 该理论框架如何应用于评估新或非标准混合模型设定中数值积分的有效性？

主要发现

• 只要积分规则足够精确，自适应高斯求积可确保近似最大似然估计量一致且渐近正态，其极限分布与精确 MLE 相同。
• 在任何归一化似然函数集中于其众数的统计模型中，非自适应数值积分无法产生一致估计量，无论使用多少求积点。
• 本文验证了所要求的正则性条件在响应为指数族分布且随机效应为多元高斯分布的广义线性混合模型中成立，确认了该理论对这一广泛应用模型类的适用性。
• 在自适应积分下，推导出似然与 MLE 的随机相对误差率，表明通过提高求积规则的阶数，可使收敛速度任意加快。
• 该理论对模型误设具有鲁棒性，只要满足正则性条件，即使在弱集中条件下，一致性仍可保持。
• 当前工作已将结果扩展至高维潜变量情形，相关文献对拉普拉斯近似与空间高斯过程的理论支持提供了理论依据。