[논문 리뷰] Restricted maximum likelihood estimation in generalized linear mixed models

Luca Maestrini, Francis K. C. Hui외 1명|arXiv (Cornell University)|2024. 02. 20.

Advanced Statistical Methods and Models인용 수 5

한 줄 요약

일반화 선형 혼합모형(GLMM)에 대한 REML 추정 방법에 대한 포괄적 검토로, 네 가지 주요 접근을 분류하고 시뮬레이션에서 유한샘플 바이어스를 비교합니다. 일반적인 REML 목적 함수는 방법 간에 유사한 추정값으로 수렴하는 경향이 있습니다.

ABSTRACT

Restricted maximum likelihood (REML) estimation is a widely accepted and frequently used method for fitting linear mixed models, with its principal advantage being that it produces less biased estimates of the variance components. However, the concept of REML does not immediately generalize to the setting of non-normally distributed responses, and it is not always clear the extent to which, either asymptotically or in finite samples, such generalizations reduce the bias of variance component estimates compared to standard unrestricted maximum likelihood estimation. In this article, we review various attempts that have been made over the past four decades to extend REML estimation in generalized linear mixed models. We establish four major classes of approaches, namely approximate linearization, integrated likelihood, modified profile likelihoods, and direct bias correction of the score function, and show that while these four classes may have differing motivations and derivations, they often arrive at a similar if not the same REML estimate. We compare the finite sample performance of these four classes, along with methods for REML estimation in hierarchical generalized linear models, through a numerical study involving binary and count data, with results demonstrating that all approaches perform similarly well reducing the finite sample size bias of variance components. Overall, we believe REML estimation should more widely adopted by practitioners using generalized linear mixed models, and that the exact choice of which REML approach to use should, at this point in time, be driven by software availability and ease of implementation.

연구 동기 및 목표

• 선형 혼합모형을 넘어 분산 성분의 바이어스 감소 도구로서 GLMM에서의 REML을 제시한다.
• GLMM에 적용 가능한 네 가지 폭넓은 REML 방법군을 요약한다: 근사 선형화, 적분 우도, 수정된 프로파일 우도, 그리고 점수 함수의 직접적인 바이어스 보정.
• 이들 방법이 서로 어떻게 관련되어 있는지 명확히 하고, 실제로 종종 유사한 REML 추정치를 산출한다는 점을 제시한다.
• R에서의 소규모 수치 연구를 통해 실용적 구현 및 비교에 대한 지침을 제공한다.

제안 방법

• GLMM용 REML 방법을 네 가지 범주로 분류한다: 근사 선형화, 적분 우도, 수정된 프로파일 우도, 그리고 프로파일 점수 함수의 직접적 바이어스 보정.
• 각 범주 내의 대표적 방법들(예: Schall 1991; Wolfinger and O’Connell 1993; Breslow and Clayton 1993; Verbyla 1990 유도)과 선형 혼합모형 결과와의 연결고리를 설명한다.
• 이러한 서로 다른 유도들이 GLMM에 대해 동일한 REML 목적 함수를 이끌어내는 경우가 많음을 보인다.
• 이진 및 카운트 데이터에서 방법들을 비교하는 소규모 시뮬레이션 연구를 제시하여 유한 샘플 바이어스를 평가한다.
• 벡터화된 GLMM 형식과 주변 우도에서 REML 보정 항의 역할을 설명한다.
• R에서의 REML 구현에 대한 실무적 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 비정규 응답 및 비항등 링크를 갖는 GLMM에 대해 REML을 어떻게 정의하고 추정할 수 있는가?
• RQ2 네 가지 주요 REML 클래스(근사 선형화, 적분 우도, 수정된 프로파일 우도, 그리고 점수의 바이어스 보정)가 실제로 유사한 REML 추정치를 산출하는가?
• RQ3 GLMM에서 분산 성분에 대한 현재 REML 방법들의 유한샘플 성능은 어떠한가?
• RQ4 다른 REML 유도들이 서로 및 표준 LMM REML과 어떻게 관련되는가?
• RQ5 R과 같은 소프트웨어에서 GLMM REML을 구현하는 실무자들을 위한 지침은 무엇인가?

주요 결과

• GLMM용 네 가지 REML 클래스가 존재한다: 근사 선형화, 적분 우도, 수정된 프로파일 우도, 그리고 점수 함수의 직접 바이어스 보정.
• 다른 동기와 유도에도 불구하고 이들 클래스는 종종 유사한 REML 추정치를 산출한다.
• 이진 데이터와 카운트 데이터에 대한 유한 샘플 시뮬레이션은 대부분의 REML 방법이 분산 성분의 바이어스를 유사하게 감소시킴을 보여준다.
• GLMM에서의 REML 추정값은 점근적으로 정규이며, 공분산은 REML 함수의 정보 행렬에 의해 주어진다.
• GLMM 하에서 다양한 REML 형식이 동일한 목적 함수로 수렴하는 일원화된 관점이 도출된다.
• 본 논문은 분산 성분의 바이어스 감소를 위한 방법들 간의 지속적인 연구와 실용적 동등성을 강조한다.