[논문 리뷰] An iterative algorithm for joint covariate and random effect selection in mixed effects models

Maud Delattre, Marie-Anne Poursat|arXiv (Cornell University)|2016. 12. 07.

Statistical Methods and Inference참고 문헌 21인용 수 11

한 줄 요약

이 논문은 비선형 혼합효모 모델에서 고정효과와 반복효과를 동시 선택하기 위한 단계적 반복 알고리즘을 제안한다. BIC 유사 기준을 사용하며, 혼합모델에 맞게 조정된 페널티 항을 적용한다. 이 방법은 유의미한 공변수와 최적의 반복효과 구조를 동시에 식별함으로써 모형의 단순성과 해석 가능성 향상을 도모하며, 보다 낮은 BIC 값과 감소한 복잡성으로 기존 모형보다 약진한 성능을 보였다. 약물동태학 사례 연구에서 성능이 뛰어나다.

ABSTRACT

We consider joint selection of fixed and random effects in general mixed-effects models. The interpretation of estimated mixed-effects models is challenging since changing the structure of one set of effects can lead to different choices of important covariates in the model. We propose a stepwise selection algorithm to perform simultaneous selection of the fixed and random effects. It is based on BIC-type criteria whose penalties are adapted to mixed-effects models. The proposed procedure performs model selection in both linear and nonlinear models. It should be used in the low-dimension setting where the number of covariates and the number of random effects are moderate with respect to the total number of observations. The performance of the algorithm is assessed via a simulation study, that includes also a comparative study with alternatives when available in the literature. The use of the method is illustrated in the clinical study of an antibiotic agent kinetics.

연구 동기 및 목표

• 혼합효모 모델에서 모형 구조 변화가 공변수 중요도에 영향을 줄 수 있는 상황에서 고정효과와 반복효과를 동시에 선택하는 데 도전하는 것.
• 공변수와 반복효과의 수가 표본 크기 대비 중간 수준인 저차원 설정에서 실용적이고 계산적으로 타당한 방법을 개발하는 것.
• 불필요한 반복효과와 상관관계가 있는 구조를 피하는 것으로 과적합을 줄이고 모형의 해석 가능성을 향상시키는 것.
• 비선형 혼합모델에 대해 통계적으로 타당하고 계산적으로 실현 가능한 BIC 기반 선택 절차를 제공하는 것.
• 시뮬레이션과 실제 약물동태학 데이터 분석을 통해 제안된 방법이 기존 모형보다 뛰어난 성능을 보임을 입증하는 것.

제안 방법

• 알고리즘은 공백 모형에서 시작하는 단계적 전진 선택 방식을 사용하며, BIC 향상에 따라 공변수와 반복효과를 반복적으로 추가한다.
• 혼합효모 모델에 특화된 페널티 항을 적용한 BIC 유사 기준을 적용하며, 특히 매개변수 공간의 차원 D에 따라 D × log(N)로 표현된다.
• 초기 탐색은 복잡성을 줄이기 위해 대각행렬 형태의 반복효과 공분산 행렬로 제한하고, 이후 단계에서 상관관계를 탐색한다.
• 모형 비교는 BIC를 사용하며, 후보 모형들 중에서 가장 낮은 BIC 값을 가진 모형을 선택한다.
• 선형 및 비선형 혼합효모 모델 모두에 적용 가능하며, 약물동태학 모델링에 사용되는 비선형 매개수 가족에도 적용 가능하다.
• 모형 전체를 전수 조사하는 것을 피함으로써, 공변수와 반복효과의 수가 중간 정도일 경우에도 실현 가능한 방법으로 구현된다.

실험 결과

연구 질문

• RQ1 고정효과와 반복효과에 대한 동시 선택 절차가 혼합효모 모형에서 모형의 해석 가능성 향상과 과적합 감소에 기여할 수 있는가?
• RQ2 제안된 BIC 기반 단계적 알고리즘이 기존 방법 대비 선택 정확도와 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 실제 약물동태학 데이터에서 반복효과 구조를 단순화함으로써 BIC 값이 얼마나 감소하고, 모형 적합도는 유지되는가?
• RQ4 유의미한 공변수의 포함이 모형 적합도 손실 없이 반복효과의 수를 줄일 수 있는가?
• RQ5 제안된 방법은 약리학에서 흔히 사용되는 저차원 비선형 혼합효모 모형에 대해 강건하고 실용적인가?

주요 결과

• 최종 모형(model1)에서 제안된 알고리즘이 BIC 값을 1492.624로 도출하였고, 이는 Burdet 등(2015)이 선택한 모형(model2)의 BIC 값 1643.676보다 유의미하게 낮았다.
• model1은 반복효과를 3개만 포함하고 상호간 상관관계도 없었으며, model2는 전체 공분산 행렬을 사용하여 훨씬 더 단순하고 파라미터 수가 적은 구조를 취하고 있었다.
• 최종 모형(model1)은 CL, V1, V2, Q에 대해 유의미한 공변수를 포함하여 개별 간 변동성을 설명하였고, Q에 대한 반복효과의 제거가 가능함을 시사하였다.
• model1에서 공변수의 추가로 반복효과 간 상관계수는 모두 0으로 수렴하여, 모형의 단순성과 안정성을 뒷받침하였다.
• model1의 반복효과 구조와 model2의 공변수를 조합한 중간 모형(model3)의 BIC는 1513.123으로, model1의 BIC보다 높아 model1의 우월성을 확인하였다.
• 시뮬레이션 연구 결과, 제안된 알고리즘이 기존 방법과 비교해 선택 정확도와 계산 시간 측면에서 경쟁력 있는 성능을 보였다.