[논문 리뷰] Generalized Linear Model for Gamma Distributed Variables via Elastic Net Regularization

Xin Chen, Aleksandr Y. Aravkin외 1명|arXiv (Cornell University)|2018. 04. 20.

Statistical Methods and Inference참고 문헌 11인용 수 10

한 줄 요약

이 논문은 일반화선형모형(Gamma 분포 잔여항을 가진)에 대해 유연한 네트워크 정규화를 사용하는 효율적이고 병렬 처리 가능한 R 패키지인 glmGammaNet을 소개한다. 로컬 2차 근사화를 사용하는 맞춤형 가속화된 프록시멀 경사법을 개발하여, Gamma GLMs에서 전역 2차 상한이 없는 문제를 해결함으로써, 표준 GLM 방법에 비해 더 뛰어난 변수 선택과 예측 오차 감소를 달성한다.

ABSTRACT

The Generalized Linear Model (GLM) for the Gamma distribution (glmGamma) is widely used in modeling continuous, non-negative and positive-skewed data, such as insurance claims and survival data. However, model selection for GLM depends on AIC/BIC criteria, which is computationally impractical for even a moderate number of variables. In this paper, we develop variable selection for glmGamma using elastic net regularization (glmGammaNet), for which we provide an algorithm and implementation. The glmGammaNet model is more challening than other more common GLMs as the likelihood function has no global quadratic upper bound, and we develop an efficient accelerated proximal gradient algorithm using a local model. We report simulation study results and discuss the choice of regularization parameter. The method is implemented in the R package glmGammaNet.

연구 동기 및 목표

• R에서 Gamma 분포 잔여항을 가진 데이터에 대해 병렬 처리 가능한 정규화된 GLM의 구현 부족 문제를 해결하기 위해.
• 전역 2차 상한이 없는 Gamma GLMs에 대해 효율적인 최적화 알고리즘을 개발하여 엘라스틱 넷 정규화를 적용하기 위해.
• 비음수이고 오른쪽으로 치우친 반응 변수를 가진 고차원 데이터에서 스케일러블한 모델 선택을 위해 교차검증을 가능하게 하기 위해.
• 표준 AIC/BIC 기반 GLM 피팅에 비해 예측 정확도와 변수 선택 성능을 향상시키기 위해.
• 실제 응용 분야인 보험 청구 및 생존 분석 등에 활용 가능한 실용적이고 오픈소스 R 패키지(glmGammaNet)를 제공하기 위해.

제안 방법

• 엘라스틱 넷 펜alty를 포함한 정규화된 최적화 문제로 Gamma GLM 피팅 문제를 수립한다.
• 비전역 2차 상한을 다룰 수 있도록 가능도 함수의 국소 2차 근사화를 사용하는 가속화된 프록시멀 경사법을 개발한다.
• 보안 선 탐색을 구현하지만, 모든 실험에서 비활성 상태를 유지한다.
• 최적의 정규화 파라미터 λ를 선택하기 위해 교차검증 기반 접근법을 사용한다.
• λ 선택을 위한 두 가지 전략을 적용한다: 보수적(교차검증에서 최소 음수최대우도)과 공격적(1표준편차 규칙).
• 대규모 데이터셋에서 효율적인 계산을 위해 다중코어 병렬 처리를 지원한다.

실험 결과

연구 질문

• RQ1 전역 2차 상한이 없는 상황에서도, 엘라스틱 넷 정규화된 GLM이 Gamma 분포 잔여항을 가진 데이터에 대해 효율적이고 안정적으로 최적화될 수 있는가?
• RQ2 glmGammaNet의 성능은 AIC/BIC 기반 표준 GLM에 비해 예측 오차와 변수 선택 측면에서 어떻게 다른가?
• RQ3 다양한 정규화 파라미터 선택 전략(예: 1표준편차 규칙)이 모델 정확도와 희박성에 어떤 영향을 미치는가?
• RQ4 노이즈가 많거나 고차원적인 데이터에 적용했을 때, glmGammaNet을 통한 변수 선택이 예측 오차를 얼마나 줄이는가?
• RQ5 제안된 방법은 고차원 환경에서 확장 가능한 추론을 위해 효율적으로 병렬 처리될 수 있는가?

주요 결과

• glmGammaNet는 정규화 없이 표준 glmGamma를 사용할 경우 10.4%의 오차를 보였지만, 예측 오차는 9.3%로 유의미하게 향상되었다.
• glmGammaNet.1sd는 평균적으로 10개의 진짜 0 계수 중 7.815개를 식별하였으며, 8개 이상을 정확히 식별할 확률이 50%로, 강력한 변수 선택 성능을 보였다.
• glmGammaNet.1sd가 식별한 0 계수를 제거한 후 예측 오차는 5.8%로 감소하여, 변수 선택에 의한 노이즈 감소가 정확도 향상에 기여함을 시사한다.
• glmGammaNet.1sd는 8개 이상의 진짜 0 계수를 식별할 확률가 50%로, glmGammaNet(0 계수 식별 가능성 35%)와 glmGammaNet.percentile(피크 시점 6개 계수)를 모두 초월하였다.
• 보안 선 탐색은 실험 전반에서 한 번도 활성화되지 않아, 국소 2차 근사화가 모든 실험에서 안정적이고 충분한 내림방향을 제공함을 시사한다.
• glmGammaNet 패키지는 R에서 사용 가능하며, 다중코어 병렬 처리를 지원하여 대규모 Gamma GLM 응용 분야에서 확장 가능한 계산을 가능하게 한다.