[논문 리뷰] gamboostLSS: An R Package for Model Building and Variable Selection in the GAMLSS Framework

Benjamin Hofner, Andreas Mayr외 1명|arXiv (Cornell University)|2014. 07. 07.

Land Use and Ecosystem Services인용 수 12

한 줄 요약

이 논문은 일반화된 가변성 모형을 위한 위치, 척도, 형태(GAMLSS)에 대한 구성요소별 부스팅을 구현하는 R 패키지 gamboostLSS를 소개한다. 이는 평균과 분산과 같은 다수의 분포 매개변수를 동시에 모델링하고 자동 변수 선택 및 모델 피팅을 가능하게 하며, 기존의 AIC 기반 접근 방식에 비해 고차원 설정에서 안정성과 확장성을 향상시킨다. 이는 인도 어린이의 성장 저하 분석을 통해 입증되었다.

ABSTRACT

Generalized additive models for location, scale and shape (GAMLSS) are a flexible class of regression models that allow to model multiple parameters of a distribution function, such as the mean and the standard deviation, simultaneously. With the R package gamboostLSS, we provide a boosting method to fit these models. Variable selection and model choice are naturally available within this regularized regression framework. To introduce and illustrate the R package gamboostLSS and its infrastructure, we use a data set on stunted growth in India. In addition to the specification and application of the model itself, we present a variety of convenience functions, including methods for tuning parameter selection, prediction and visualization of results. The package gamboostLSS is available from CRAN (http://cran.r-project.org/package=gamboostLSS).

연구 동기 및 목표

• GAMLSS에서 AIC 기반 변수 선택의 불안정성, 특히 다수의 분포 매개변수에 대해 서로 다른 예측 변수를 선택할 때의 문제를 해결하기 위해.
• 기존의 백피팅 방법이 실패하거나 계산적으로 비용이 많이 드는 고차원 데이터 설정에서 GAMLSS를 피팅하기 위한 확장성 있고 안정적인 프레임워크를 제공하기 위해.
• 변수 선택, 모델 선택, 정규화를 통합된 부스팅 프레임워크 내에서 자연스럽게 통합하기 위해.
• 튜닝, 예측, 결과의 시각화를 위한 포괄적인 도구를 갖춘 사용자 友好的 R 패키지를 제공하기 위해.
• 실제 사례 연구를 통해 방법의 유용성을 입증하기 위해: 인도 어린이의 성장 저하에 대해 평균과 변동성 양쪽을 모두 모델링하는 것.

제안 방법

• 다양한 GAMLSS 매개변수(예: 위치 μ, 척도 σ, 형태)에 대해 추가 예측 변수를 반복적으로 피팅하기 위해 구성요소별 기울기 부스팅을 사용하며, 가정된 분포의 로그우도를 최적화한다.
• 모델 복잡도를 규제하고 과적합을 방지하기 위해 쇄약(단계 길이 ν)과 조기 정지(mstop)를 적용한 부스팅 알고리즘을 사용한다.
• 이름이 붙은 리스트를 통해 각 분포 매개변수에 대해 별도의 후보 모형을 허용하는 공식 인터페이스를 통해 모델 명시의 유연성을 제공한다.
• mboost 패키지의 인프라와 통합되어, 선형, 스무딩, 무작위 효과 등 다양한 기본 학습기(base learners)를 사용해 다양한 예측 변수 유형을 처리할 수 있다.
• 각 분포 매개변수별로 별도의 초모수(예: mstop, nu)를 지정할 수 있도록 벡터화 또는 이름이 붙은 리스트 방식을 구현하여 맞춤형 부스팅 동작을 가능하게 한다.
• 튜닝 초모수 선택, 예측, 결과의 시각화 기능(효과 플롯 및 예측 구간 포함)을 위한 내장 함수를 제공한다.

실험 결과

연구 질문

• RQ1 부스팅 기반 추정이 AIC 기반 방법에 비해 더 안정적인 변수 선택을 제공할 수 있는가? 특히 서로 다른 예측 변수 집합이 여러 분포 매개변수에 대해 선택될 때 그렇다.
• RQ2 기존의 GAMLSS 피팅이 계산적으로 비현실적이 되는 고차원 설정에서 gamboostLSS 프레임워크는 어떻게 성능을 발휘하는가?
• RQ3 gamboostLSS는 응답 변수(예: 성장 저하 점수)의 평균과 분산을 효과적으로 동시에 모델링하면서 각각에 대해 관련 예측 변수를 선택할 수 있는가?
• RQ4 gamboostLSS는 통합된 GAMLSS 모델링 프레임워크 내에서 스무딩, 공간적, 무작위 효과와 같은 복잡한 효과를 지원할 수 있는가?
• RQ5 모델 정확도, 변수 선택 일관성, 계산 효율성 측면에서 gamboostLSS는 gamlss 패키지와 어떻게 비교되는가?

주요 결과

• gamboostLSS 패키지는 GAMLSS를 위한 부스팅을 성공적으로 구현하여, 평균(예: μ)과 분산(예: σ)과 같은 다수의 분포 매개변수를 동시에 모델링하고 자동 변수 선택을 가능하게 하였다.
• 특히 서로 다른 분포 매개변수에 대해 다른 예측 변수가 관련된 경우, AIC 기반 접근 방식에 비해 변수 선택의 안정성이 향상됨을 입증하였다.
• 패키지는 별도의 공식을 통해 각 분포 매개변수에 대해 모델 명시의 유연성을 제공하며, 각 매개변수별로 다른 초모수(예: mstop, nu)를 허용한다.
• 인도 어린이의 성장 저하 사례 연구에서 gamboostLSS는 기대 성장 저하 점수(μ)와 그 변동성(σ)을 모두 성공적으로 모델링하여 개인 맞춤 예측 구간을 제공하였다.
• 튜닝 초모수 선택, 예측, 시각화 기능을 포함한 포괄적인 도구 세트를 제공하여 응용 연구자들의 사용성을 향상시켰다.
• gamboostLSS 알고리즘은 계산적으로 효율적이며 고차원 데이터에 대해 확장 가능하여, 이러한 설정에서 기존의 가우스-뉴턴 백피팅의 한계를 극복하였다.