[논문 리뷰] Elastic Net Regularization Paths for All Generalized Linear Models

J. Kenneth Tay, Balasubramanian Narasimhan외 1명|arXiv (Cornell University)|2021. 03. 05.

Statistical Methods and Inference인용 수 6

한 줄 요약

이 논문은 효율적인 좌표 강내림과 강한 규칙, 희소 행렬 지원을 사용하여 모든 일반선형모형(GLMs), (시작, 정지] 데이터와 군집이 있는 코ックス 모형, 그리고 단순화된 이완 라소를 포함한 탄성망 정규화 경로 알고리즘을 확장한다. 주요 기여는 다양한 통계 모형 간의 경로 기반 추정을 가능하게 하는 통합적이고 계산적으로 효율적인 프레임워크를 제공하는 것으로, 이는 이전의 구현에 비해 탄성망 정규화의 적용 가능 범위를 크게 넓힌다.

ABSTRACT

The lasso and elastic net are popular regularized regression models for supervised learning. Friedman, Hastie, and Tibshirani (2010) introduced a computationally efficient algorithm for computing the elastic net regularization path for ordinary least squares regression, logistic regression and multinomial logistic regression, while Simon, Friedman, Hastie, and Tibshirani (2011) extended this work to Cox models for right-censored data. We further extend the reach of the elastic net-regularized regression to all generalized linear model families, Cox models with (start, stop] data and strata, and a simplified version of the relaxed lasso. We also discuss convenient utility functions for measuring the performance of these fitted models.

연구 동기 및 목표

• 일반선형모형(GLMs)의 모든 지수족 분포에 대해 탄성망 정규화 경로 알고리즘을 일반화하는 것.
• 시행 시간 간격(시작, 정지] 데이터와 분류된 코ックス 모형을 포함한 생존 모형으로 방법을 확장하여 복잡한 생존 분석 설정에서의 정규화를 가능하게 하는 것.
• 변수 선택 및 예측 성능 향상을 위해 단순화된 이완 라소를 구현하는 것.
• 큰 고차원 데이터셋에서의 효율적이고 확장 가능한 계산을 위해 좌표 강내림과 강한 규칙, 희소 행렬 지원을 활용하는 것.
• 교차검증, 계수 경로 시각화, 성능 평가를 포함한 포괄적인 모델 평가 도구를 제공하는 것.

제안 방법

• 탄성망 페널티가 부여된 GLMs의 음의 로그우도를 최소화하기 위해 강한 규칙을 사용하는 좌표 강내림을 활용하여 탄성망 정규화 경로 전체를 효율적으로 계산한다.
• 부분우도를 손실 함수로 사용하여 (시작, 정지] 시간 간격과 군집이 있는 코ックス 비례위험 모형에도 동일한 알고리즘 프레임워크를 적용한다.
• 탄성망 해에서 비영인 예측 변수의 계수를 재추정하여 단순화된 이완 라소를 구현함으로써 예측 정확도를 향상시킨다.
• 더 큰 λ에서의 해를 더 작은 λ의 초기값으로 사용하는 온난 시작 전략을 적용하여 수렴 속도를 가속화한다.
• 특히 고차원 설정에서 중요한 대규형 희소 설계 행렬에서 성능을 최적화하기 위해 FORTRAN 서브루틴에서 희소 행렬 표현을 활용한다.
• KKT 조건과 강한 규칙을 통합하여 각 λ 값에서 예측 변수의 활성 집합을 동적으로 갱신함으로써 정확한 해를 확보한다.

실험 결과

연구 질문

• RQ1 모든 지수족 분포를 포함한 일반선형모형(GLMs)에 대해 탄성망 정규화 경로를 효율적이고 정확하게 확장할 수 있는가?
• RQ2 탄성망 프레임워크는 어떻게 (시작, 정지] 간격으로 손상된 생존 데이터와 분류된 코ックス 모형을 다룰 수 있는가?
• RQ3 단순화된 이완 라소를 구현할 경우 모델 예측 정확도와 변수 선택 안정성에 어떤 영향을 미치는가?
• RQ4 강한 규칙과 온난 시작을 갖춘 좌표 강내림은 다양한 GLM 가족 간의 계산 효율성을 어떻게 향상시키는가?
• RQ5 확장된 프레임워크는 고차원이고 희소한 데이터 설정에서 성능 특성이 어떻게 나타나는가?

주요 결과

• 제안된 알고리즘은 이항분포, 포isson, 감마, 역가우스 등 모든 지수족 GLMs에 대해 탄성망 정규화를 성공적으로 확장한다.
• 이 방법은 (시작, 정지] 간격으로 손상된 생존 데이터와 분류된 코ックス 모형을 지원하여, 복잡한 생존 분석 시나리오에서의 정규화를 가능하게 한다.
• 좌표 강내림과 강한 규칙, 온난 시작을 통해 상당한 계산 효율성을 달성하여 λ 경로 전반에서 계산 시간을 감소시킨다.
• FORTRAN 서브루틴에서 희소 행렬 형식을 사용함으로써 설계 행렬이 크고 희소한 경우에도 페널티가 부여되지 않은 GLMs의 피팅을 효율적으로 수행할 수 있으며, 이는 기본 R의 glm 함수에서의 제약 사항을 해결한다.
• 비영인 계수를 재추정함으로써 표준 탄성망에 비해 편향을 감소시켜 예측 성능을 향상시키는 단순화된 이완 라소를 제공한다.
• 교차검증, 계수 경로 플로팅, 내장된 유틸리티 함수를 통한 성능 평가를 포함한 강력한 모델 평가 도구를 제공한다.