[논문 리뷰] Generalised Linear Mixed Model Specification, Analysis, Fitting, and Optimal Design in R with the glmmr Packages

Sam Watson|arXiv (Cornell University)|2023. 03. 22.

Optimal Experimental Design MethodsDecision Sciences인용 수 3

한 줄 요약

이 논문은 일반선형혼합모형(GLMMs)을 마르코프 체인 몬테카를로 최대우도(MCML), 라플라스 근사, 해밀토니안 몬테카를로를 사용하여 지정, 적합, 분석할 수 있는 유연하고 객체지향적인 프레임워크를 제공하는 R 패키지 glmmrBase와 glmmrOptim를 소개한다. 주요 기여는 복잡한 공분산 구조, 비선형 평균 함수, c-최적 실험 설계를 지원하는 통합적이고 확장 가능한 시스템으로, 성능 벤치마킹과 lme4 및 glmmTMB와 유사한 정확한 모수 추정치를 제공한다.

ABSTRACT

We describe the \proglang{R} package \pkg{glmmrBase} and an extension \pkg{glmmrOptim}. \pkg{glmmrBase} provides a flexible approach to specifying, fitting, and analysing generalised linear mixed models. We use an object-orientated class system within \proglang{R} to provide methods for a wide range of covariance and mean functions, including specification of non-linear functions of data and parameters, relevant to multiple applications including cluster randomised trials, cohort studies, spatial and spatio-temporal modelling, and split-plot designs. The class generates relevant matrices and statistics and a wide range of methods including full likelihood estimation of generalised linear mixed models using stochastic Maximum Likelihood, Laplace approximation, power calculation, and access to relevant calculations. The class also includes Hamiltonian Monte Carlo simulation of random effects, sparse matrix methods, and other functionality to support efficient estimation. The \pkg{glmmrOptim} package implements a set of algorithms to identify c-optimal experimental designs where observations are correlated and can be specified using the generalised linear mixed model classes. Several examples and comparisons to existing packages are provided to illustrate use of the packages.

연구 동기 및 목표

• 기존 GLMM 소프트웨어에서 분산되어 있는 문제를 해결하기 위해, 한 번의 분석에 여러 패키지와 일관되지 않은 인터페이스를 사용해야 하는 사용자 문제를 해결하기 위해.
• 비선형 함수를 포함한 다양한 데이터와 모수에 대한 복잡한 GLMM 사양을 지원하는 통합적이고 확장 가능한 R 프레임워크를 개발하기 위해.
• 희소 행렬과 고성능 C++ 백엔드를 지원하는 MCML, 라플라스 근사, 해밀토니안 몽테카를로를 통한 효율적 추정을 가능하게 하기 위해.
• GLMM 프레임워크를 사용하여 상관 관계가 있는 관측치에 대한 c-최적 실험 설계를 구현하기 위해.
• 공동 공분산 및 평균 구조를 여러 모형 간에 공유할 수 있는 일관된 객체지향 인터페이스를 제공하기 위해.

제안 방법

• glmmrBase 패키지는 R6의 객체지향 시스템을 사용하여 모형 구성 요소(고정 효과, 랜덤 효과, 링크 함수, 분포 가족 등)를 캡슐화한 Model 클래스를 구현한다.
• 이 프레임워크는 사용자가 선형 예측자와 공분산 구조에 대해 비선형 함수를 정의할 수 있도록 지원하여 군집, 코hort, 공간 및 시공간 데이터의 탄력적 모형화를 가능하게 한다.
• 모형 적합은 라플라스 근사를 통해 初기 모수 추정을 수행한 후, 해밀토니안 몽테카를로를 사용한 후행 분포 샘플링을 위한 마르코프 체인 몽테카를로 최대우도(MCML)를 수행한다.
• 시스템은 희소 행렬 연산을 위해 Matrix 패키지를 활용하고, 성능이 중요한 계산에는 C++ 코드를 통합한다.
• glmmrOptim 패키지는 상관 관계가 있는 관측치가 있는 실험에 대한 c-최적 설계를 계산하기 위해 프레임워크를 확장한다. GLMM 구조를 사용하여 관측치의 최적 할당을 식별한다.
• 이 구현에는 완전 우도 추정, 표준 오차 계산(로버스트 및 편향 보정), 그리고 검정력 계산을 위한 메서드가 포함되어 있다.

Figure 1: Illustrative example of formula parsing and calculation including autodifferention with respect to parameter \code b_1

실험 결과

연구 질문

• RQ1 다양한 적용 분야에서 데이터와 모수의 비선형 함수를 포함한 복잡한 GLMM 사양을 지원하는 통합적이고 확장 가능한 R 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 MCML 및 라플라스 근사 방법이 R/C++ 기반의 모듈화된 객체지향 시스템에서 GLMM에 구현되었을 때 성능과 정확도는 어떠한가?
• RQ3 동일한 GLMM 프레임워크를 사용하여 상관 관계가 있는 관측치에 대한 c-최적 실험 설계를 유도할 수 있으며, 이는 기존 설계 방법과 비교해 어떻게 다른가?
• RQ4 시뮬레이션 설정에서 glmmrBase 패키지의 모수 추정치와 lme4 및 glmmTMB와 같은 기존 패키지의 결과는 얼마나 유사한가?
• RQ5 glmmrBase의 객체지향 설계는 GLMM 기반 통계 워크플로우에서 코드 재사용성, 모듈성, 확장성에 얼마나 기여하는가?

주요 결과

• MCML 및 라플라스 근사 방법을 사용한 glmmrMCML의 모수 추정치는 lme4 및 glmmTMB의 추정치와 0.01 이내로 매우 정확함을 입증함.
• glmmrMCML의 구현은 기준 방법과 일치하는 모수 추정치를 도출하였으며, 모든 테스트된 모수에서 표준 오차 차이가 0.02 이내로 낮게 유지됨.
• 뉴턴-라프슨 및 BOBYQA 최적화 방법을 사용한 라플라스 근사는 MCML의 수렴 문제를 줄이기 위해 안정적인 초기 값 제공함.
• glmmrOptim 패키지는 상관 관계가 있는 관측치에 대한 c-최적 설계를 성공적으로 계산하였으며, 복잡한 환경에서 효율적인 실험 기획 가능함.
• 모형 적합 시간은 크게 다름: MCNR는 7.4초, BOBYQA를 사용한 MCEM은 0.36초로 최적화 방법 선택이 효율성에 미치는 영향을 보여줌.
• 객체지향 설계 덕분에 여러 모형 간에 공통된 공분산 및 평균 구조를 공유할 수 있어 코드 유지보수성 향상과 중복 감소 효과를 얻음.