[논문 리뷰] Trimmed Constrained Mixed Effects Models: Formulations and Algorithms

Peng Zheng, Ryan M Barber외 3명|arXiv (Cornell University)|2019. 09. 24.

Statistical Methods and Bayesian Inference참고 문헌 36인용 수 19

한 줄 요약

이 논문은 강건한 최소자르기 제곱법(LTS)을 혼합 효과 모형에 확장하기 위해 가장자리 가능성 추정에 잘라내기(trimming)를 통합한 오픈소스 파이썬 패키지 LimeTr을 소개한다. 이는 메타분석과 용량-반응 관계 등에 특히 유용하며, 기존 도구보다 이상치에 대한 저항력과 계산 효율성에서 뛰어난 성능을 발휘하는 강건하고 제약 조건이 있는 비선형 혼합 효과 모델링을 가능하게 한다.

ABSTRACT

Mixed effects (ME) models inform a vast array of problems in the physical and social sciences, and are pervasive in meta-analysis. We consider ME models where the random effects component is linear. We then develop an efficient approach for a broad problem class that allows nonlinear measurements, priors, and constraints, and finds robust estimates in all of these cases using trimming in the associated marginal likelihood. The software accompanying this paper is disseminated as an open-source Python package called LimeTr. LimeTr is able to recover results more accurately in the presence of outliers compared to available packages for both standard longitudinal analysis and meta-analysis, and is also more computationally efficient than competing robust alternatives. Supplementary materials that reproduce the simulations, as well as run LimeTr and third party code are available online. We also present analyses of global health data, where we use advanced functionality of LimeTr, including constraints to impose monotonicity and concavity for dose-response relationships. Nonlinear observation models allow new analyses in place of classic approximations, such as log-linear models. Robust extensions in all analyses ensure that spurious data points do not drive our understanding of either mean relationships or between-study heterogeneity.

연구 동기 및 목표

• 메타분석과 종단적 연구에서 이상치와 비선형 관계 하에서 강건하고 제약 조건이 있는 혼합 효과 모형의 부족을 해결한다.
• 잘라내기와 선형 혼합 효과 모형을 통합하여 고정 효과 및 랜덤 효과 양쪽 모두에 대한 이상치 저항력을 향상시키는 통합 프레임워크를 개발한다.
• 비선형 관측 모형, 형태 제약 조건(예: 단조성, 오목성) 및 고정 효과의 임의의 비선형 함수와 같은 고급 모델링 기능을 가능하게 한다.
• 잘라낸 가능성에 기인하는 비볼록, 비연속 문제를 효율적이고 신뢰할 수 있는 최적화 알고리즘으로 해결한다.
• 합성 데이터와 실제 전 세계 보건 데이터를 바탕으로 본 방법의 우수성을 입증하며, 특히 이질적인 관측치를 포함한 용량-반응 모델링에서 뛰어난 성능을 보인다.

제안 방법

• 랜덤 효과가 선형으로 포함되지만 관측 모형과 사전분포가 비선형인 부분적으로 비선형 혼합 효과 모형을 설정한다.
• 가장자리 가능성에서 (1−α) 제곱 잔차의 가장 작은 합을 최소화함으로써 잘라내기 기반의 강건한 추정 방법을 도입하여 이상치에 대한 저항력을 향상시킨다.
• 변수 투영을 사용하여 잘라내기 파라미터와 모형 파라미터 간의 최적화를 분리함으로써, 내부점수 방법을 통해 효율적인 해를 도출할 수 있도록 문제를 재구성한다.
• 스플라인 기반의 비선형 관계 모델링을 통해 제약 조건(선형 및 비선형)과 형태 제약 조건(예: 단조성, 오목성)을 최적화에 통합한다.
• IPopt와 고유의 솔버를 조합하여 잘라내기 파라미터에 대한 값 함수를 계산하는 알고리즘을 LimeTr라는 파이썬 패키지로 구현한다.
• 형태 제약 조건을 갖춘 스플라인 기반 기저 함수를 사용하여 복잡한 용량-반응 관계를 모델링함으로써, 유연하고 해석 가능하며 강건한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 잘라내기 기법이 종단적 데이터와 메타분석 데이터에서 혼합 효과 모형에 효과적으로 확장될 수 있는가?
• RQ2 비선형 관측 모형과 형태 제약 조건(예: 단조성)을 강건한 혼합 효과 추정에 통합하면서도 계산 효율성을 유지할 수 있는가?
• RQ3 제안된 잘라낸 제약 조건이 있는 혼합 효과 모형이 오염된 상황에서 기존의 강건한 패키지보다 정확성과 계산 속도 면에서 뛰어나게 되는가?
• RQ4 메타분석에서 이질적이고 간접적이거나 비율 기반의 관측치로부터 진짜 용량-반응 관계를 신뢰성 있게 복원할 수 있는가?
• RQ5 실제 전 세계 보건 데이터에서 형태 제약 조건이 이상치나 노이즈가 많은 데이터가 존재할 경우 결론에 얼마나 큰 영향을 미치는가?

주요 결과

• LimeTr는 기존 패키지(예: metafor, robumeta, robustlmm)보다 이질적인 종단적 및 메타분석 데이터에서 이상치를 탐지하고 영향을 저항하는 데 뛰어나다.
• 오염된 상황에서도 경쟁하는 강건한 대안들보다 더 높은 정확도와 계산 효율성을 달성한다.
• LimeTr는 형태 제약 조건을 갖춘 스플라인을 사용하여 비선형 용량-반응 관계를 성공적으로 모델링하여, 로그선형 근사에 의존하지 않고도 강건한 추론을 가능하게 한다.
• 노출과 위험 간 관계에 대한 14개의 종단적 코hort 연구 메타분석에서 LimeTr는 스플라인 기반 위험 곡선의 불확실성 원뿔(cone of uncertainty)을 잘 포착하였으며, 이는 스플라인과 랜덤 효과 이질성에 의한 불확실성 정량화를 통해 뒷받침되었다.
• 용량-반응 곡선에 단조성 제약 조건을 도입함으로써 추정된 위험 관계에 변화가 있었으며, 이는 형태 제약 조건이 결론에 상당한 영향을 미칠 수 있음을 보여주며, 모델링의 유연성의 중요성을 강조한다.
• LimeTr는 비선형 관측 모형, 임의의 제약 조건, 강건한 잘라내기 기법을 동시에 지원하는 유일한 오픈소스 패키지로, 이전 도구로는 구현이 어려웠던 새로운 유형의 분석을 가능하게 한다.