[논문 리뷰] Regularisation Paths for Conditional Logistic Regression: the clogitL1 package

Stephen Reid, Robert Tibshirani|arXiv (Cornell University)|2014. 05. 14.

Statistical Methods and Inference참고 문헌 5인용 수 8

한 줄 요약

이 논문은 순환 좌표 강하와 순차 강한 규칙을 사용하여 라소 및 엘라스틱넷 페널티를 적용한 정규화된 조건부 로지스틱 회귀 모델을 피팅하기 위한 clogitL1 R 패키지를 소개한다. 조건부 모델이 조건부가 아닌 모델보다 변수 선택에서 뛰어난 성능을 보이며, 특히 군집별 절편이 존재하는 케이스-컨트롤 연구에서 예측 정확도는 유사하게 유지함을 입증한다.

ABSTRACT

We apply the cyclic coordinate descent algorithm of Friedman, Hastie and Tibshirani (2010) to the fitting of a conditional logistic regression model with lasso ($\ell_1$) and elastic net penalties. The sequential strong rules of Tibshirani et al (2012) are also used in the algorithm and it is shown that these offer a considerable speed up over the standard coordinate descent algorithm with warm starts. Once implemented, the algorithm is used in simulation studies to compare the variable selection and prediction performance of the conditional logistic regression model against that of its unconditional (standard) counterpart. We find that the conditional model performs admirably on datasets drawn from a suitable conditional distribution, outperforming its unconditional counterpart at variable selection. The conditional model is also fit to a small real world dataset, demonstrating how we obtain regularisation paths for the parameters of the model and how we apply cross validation for this method where natural unconditional prediction rules are hard to come by.

연구 동기 및 목표

• 라소 및 엘라스틱넷 페널티를 적용한 정규화된 조건부 로지스틱 회귀를 효율적으로 계산할 수 있는 계산 프레임워크를 개발하는 것.
• 군집별 절편이 존재하여 표준 로지스틱 회귀가 복잡해지는 케이스-컨트롤 연구에서의 변수 선택 과제를 해결하는 것.
• 조건부 우도 모델에 적합한 교차검증 기법을 구현하고 평가하는 것. 이는 자연스러운 조건부 예측 규칙이 없는 경우에 해당한다.
• 변수 선택 및 예측 정확도 측면에서 조건부 모델과 조건부가 아닌 모델의 성능을 비교하는 것.
• 실제 에피디미올로지 및 생물통계학 연구에 활용 가능한 공개된 R 패키지(clogitL1)를 제공하는 것.

제안 방법

• 각 군집 내에서 정규화 상수와 도함수를 효율적으로 계산하기 위해 재귀 공식을 사용하는 조건부 로그우도의 페널티를 적용한 최적화를 위해 순환 좌표 강하를 적용한다.
• 불필요한 계수 갱신을 생략하기 위해 순차 강한 규칙을 사용하여 반복 계산의 수를 줄여 수렴 속도를 크게 향상시킨다.
• 변수 선택과 안정성의 균형을 이루기 위해 l1(라소) 및 l2(릿지) 정규화를 조합한 엘라스틱넷 페널티를 사용한다.
• 모든 군집을 한 번에 제거하는 방식으로 맞춤형 교차검증을 구현하며, 제거된 군집의 로그우도 기여도의 합을 오차 추정치로 사용한다.
• Gail 등(1981)의 재귀 알고리즘을 활용하여 조건부 우도 및 그 도함수의 정확한 계산을 수행한다.
• 규제 매개변수(λ)의 범위를 탐색할 수 있도록 규제 경로를 구성하여 교차검증을 통해 최적의 λ 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 순환 좌표 강하와 순차 강한 규칙을 사용하여 라소 및 엘라스틱넷 페널티를 적용한 정규화된 조건부 로지스틱 회귀를 효율적으로 계산할 수 있는가?
• RQ2 케이스-컨트롤 연구에서 조건부 모델의 변수 선택 성능은 조건부가 아닌 로지스틱 회귀 모델에 비해 어떻게 비교되는가?
• RQ3 조건부 분포에 따라 데이터가 생성될 경우, 조건부 모델의 예측 정확도는 조건부가 아닌 모델에 비해 어떻게 되는가?
• RQ4 자연스러운 예측 규칙이 없는 조건부 로지스틱 회귀 모델에 대해 교차검증을 어떻게 의미 있게 적용할 수 있는가?
• RQ5 병리적 분리 문제의 영향은 조건부 로지스틱 회귀에 미치며, 정규화는 이를 어떻게 완화하는가?

주요 결과

• 조건부 분포에 따라 데이터가 생성될 경우, 라소 및 엘라스틱넷 페널티를 적용한 조건부 로지스틱 회귀 모델이 조건부가 아닌 모델보다 변수 선택에서 뛰어난 성능을 보였다.
• 순차 강한 규칙의 사용으로 계산 시간이 크게 단축되어 정규화 경로를 정확도를 잃지 않고 신속하게 탐색할 수 있었다.
• 절편 추정치가 없음에도 불구하고 조건부 모델은 조건부가 아닌 모델과 유사한 예측 성능을 유지하였다.
• 모든 군집을 제거하고 제거된 군집의 로그우도 기여도 합을 오차 지표로 사용함으로써 조건부 모델에 대한 교차검증이 가능함을 입증하였다.
• 병리적 해(완전 분리)는 조건부 모델에서 더 흔하고 심각하게 나타나, 수치적 안정성을 확보하기 위해 더 강한 정규화가 필요하다.
• clogitL1 R 패키지는 제안된 방법을 성공적으로 구현하였으며, 실세계의 케이스-컨트롤 연구에 활용 가능한 CRAN에서 공개되어 있다.