[논문 리뷰] Asymptotics of numerical integration for two-level mixed models

Alex Stringer, Blair Bilodeau외 1명|arXiv (Cornell University)|2022. 02. 16.

Statistical Methods and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 두 수준의 혼합 모형에서 적응형 수치 적분에 대한 최초의 종합적인 渐近 이론을 수립하며, 적응형 사다리꼴 법이 정확한 우도 추론과 동일한 대표적 성질을 가진 일致한 최대우도 추정량을 제공함을 증명한다. 또한, 우도가 모드 주위에 집중하는 모형에서는 비적응형 적분이 일치하는 추정량을 도출하지 못함을 보이며, 적응형 방법이 적분이 구하기 어려운 혼합 모형에서 타당한 추론을 위해 필수적임을 밝힌다.

ABSTRACT

We study mixed models with a single grouping factor, where inference about unknown parameters requires optimizing a marginal likelihood defined by an intractable integral. Low-dimensional numerical integration techniques are regularly used to approximate these integrals, with inferences about parameters based on the resulting approximate marginal likelihood. For a generic class of mixed models that satisfy explicit regularity conditions, we derive the stochastic relative error rate incurred for both the likelihood and maximum likelihood estimator when adaptive numerical integration is used to approximate the marginal likelihood. We then specialize the analysis to well-specified generalized linear mixed models having exponential family response and multivariate Gaussian random effects, verifying that the regularity conditions hold, and hence that the convergence rates apply. We also prove that for models with likelihoods satisfying very weak concentration conditions that the maximum likelihood estimators from non-adaptive numerical integration approximations of the marginal likelihood are not consistent, further motivating adaptive numerical integration as the preferred tool for inference in mixed models. Code to reproduce the simulations in this paper is provided at https://github.com/awstringer1/aq-theory-paper-code.

연구 동기 및 목표

• 두 수준 혼합 모형에서 마진 모수우도가 구하기 어려운 적분을 포함하는 수치 적분에 대한 엄밀한 渐近 이론을 개발하기 위해.
• 정확한 우도 추론과 동일한 渐近 성질을 가진 일치하는 최대우도 추정량을 도출할 수 있는 조건을 설정하기 위해.
• 정규화된 우도 함수가 모드 주위에 집중하는 모형에서는 비적응형 적분 규칙이 일치하는 추정량을 도출할 수 없음을 증명하기 위해.
• 지수족 반응과 다변량 정규 랜덤 효과를 가진 잘 규명된 일반선형 혼합 모형(GLMM)에 대해 유도된 정규성 조건이 성립함을 검증하기 위해.
• 이론적으로 연구된 특정 클래스를 초월한 새로운 혼합 모형 설정에서 수치 적분의 渐近 타당성을 평가하기 위한 일반적이고 검증 가능한 프레임워크를 제공하기 위해.

제안 방법

• 적응형 수치 적분 하에서 근사 우도와 최대우도 추정량의 확률적 상대 오차 비율을 유도하기 위해.
• 수렴을 보장하는 반응 및 랜덤 효과 분포에 대한 명시적이고 검증 가능한 정규성 조건(가정 2–7)을 도입하기 위해.
• 이 조건 하에서 적응형 사다리꼴 법에 기반한 근사 MLE가 일치하고 渐近 정규분포를 따르며, 정확한 MLE와 동일한 점근적 분포를 가짐을 증명하기 위해.
• 지수족 반응과 다변량 정규 랜덤 효과를 가진 일반선형 혼합 모형에서 정규성 조건이 성립함을 검증하기 위해.
• 주요 수렴 결과를 확립하기 위한 주요 기술적 도구로 우도 근사의 국소 균일한 확률 수렴을 사용하기 위해.
• 이론적 결과의 실용적 함의를 설명하기 위해 시뮬레이션과 GitHub에 공개된 코드를 제공하기 위해.

실험 결과

연구 질문

• RQ1 구하기 어려운 적분을 포함하는 두 수준 혼합 모형에서 적응형 수치 적분이 언제 일치하는 최대우도 추정량을 도출하는가?
• RQ2 왜 비적응형 수치 적분 방법은 우도가 모드 주위에 집중하는 모형에서는 일치하는 추정량을 도출하지 못하는가?
• RQ3 적응형 사다리꼴 법에 기반한 최대우도 추정량의 점근 성질이 정확한 우도 추정량과 동일한가를 증명할 수 있는가?
• RQ4 적응형 적분의 수렴을 위해 필요한 정규성 조건이 실제 모형, 예를 들어 일반선형 혼합 모형에 대해 충분히 일반적이고 검증 가능할까?
• RQ5 이론적 프레임워크는 새로운 또는 비표준 혼합 모형 사양에서 수치 적분의 타당성을 평가하는 데 어떻게 적용될 수 있는가?

주요 결과

• 적응형 사다리꼴 법을 사용할 경우, 적분 규칙의 정확도가 충분히 높다면 근사 최대우도 추정량이 일치하고 점근 정규분포를 따르며, 정확한 MLE와 동일한 점근적 분포를 가짐을 보장한다.
• 정규화된 우도 함수가 모드 주위에 집중하는 어떤 통계 모형에서도 비적응형 수치 적분은 일치하는 추정량을 도출할 수 없으며, 사다리꼴 점의 수가 얼마나 많든 간주하지 않음.
• 지수족 반응과 다변량 정규 랜덤 효과를 가진 일반선형 혼합 모형에 대해 필요한 정규성 조건이 성립함을 검증하여, 이 이론이 널리 사용되는 이 모형 클래스에 적용 가능함을 확인한다.
• 적응형 적분 하에서 우도와 MLE의 확률적 상대 오차 비율이 유도되었으며, 사다리꼴 규칙의 차수를 높임으로써 수렴 속도를 임의로 빠르게 만들 수 있음을 보여준다.
• 정규성 조건을 만족하는 한, 모형 오류 지정 조건 하에서도 일관성이 유지되므로 이론은 모형 오류 지정에 대해 강건하며, 약한 집중 조건 하에서도 성립한다.
• 현재 진행 중인 연구에서 고차원 잠재 변수로 결과가 확장되고 있으며, 라플라스 근사 및 공간 정규 과정과 관련된 문헌의 이론적 지원을 받고 있음.