[논문 리뷰] Comparing methods addressing multi-collinearity when developing prediction models

Artuur Leeuwenberg, Maarten van Smeden외 6명|arXiv (Cornell University)|2021. 01. 05.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 연구는 임상 예측 모델 개발에서 다중공선성 문제를 다루는 방법들을 비교한다. 보정(라소, 리지, 엘라스틱넷), 차원 축소(PCA), 제약 최적화(드롭아웃, PCM)를 평가한다. 다중공선성이 예측 성능에 영향을 주지 않았지만, 계수 안정성에 심각한 영향을 미쳤다. 특히 라소는 공선성에 기인한 불안정성으로 인해 예측 변수 선택에서 높은 변동성을 보였다.

ABSTRACT

Clinical prediction models are developed widely across medical disciplines. When predictors in such models are highly collinear, unexpected or spurious predictor-outcome associations may occur, thereby potentially reducing face-validity and explainability of the prediction model. Collinearity can be dealt with by exclusion of collinear predictors, but when there is no a priori motivation (besides collinearity) to include or exclude specific predictors, such an approach is arbitrary and possibly inappropriate. We compare different methods to address collinearity, including shrinkage, dimensionality reduction, and constrained optimization. The effectiveness of these methods is illustrated via simulations. In the conducted simulations, no effect of collinearity was observed on predictive outcomes. However, a negative effect of collinearity on the stability of predictor selection was found, affecting all compared methods, but in particular methods that perform strong predictor selection (e.g., Lasso).}

연구 동기 및 목표

• 다중공선성이 임상 예측 모델의 예측 성능와 계수 안정성에 미치는 영향을 평가하기 위해.
• 보정(라소, 리지, 엘라스틱넷), 차원 축소(PCA), 제약 최적화(드롭아웃, PCM) 등의 다양한 방법이 다중공선성 문제를 해결하는 데 얼마나 효과적인지 비교하기 위해.
• 다중공선성이 모델 캘리브레이션, 분류 능력 또는 예측 변수 선택의 안정성에 영향을 미치는지 평가하기 위해.
• 다중공선성 환경에서 강력한 예측 변수 선택 방법인 라소가 과도하게 영향을 받는지 여부를 판단하기 위해.
• 다중공선성 상황에서 견고한 모델 개발을 위한 방법 선택에 대한 증거 기반 지침을 제공하기 위해.

제안 방법

• 실제 방사선 치료 합병증 데이터(NTCP 모델)를 기반으로 한 시뮬레이션 데이터로, 환자 1000명과 예측 변수 20개를 포함하며, 용량-부위 매개변수 간에 높은 상관관계(r > 0.8)가 존재한다.
• 다섯 가지 방법을 적용: 표준 로지스틱 회귀(LR), 라소, 리지, 엘라스틱넷, 주성분 분석(PCA), 그리고 사전 지식을 활용해 계수를 제약하는 새로운 방법(PCM).
• 모든 시뮬레이션에서 1000회의 부트스트랩 재표본을 사용하여 각 방법의 계수 추정치와 예측 변수 선택의 안정성을 평가한다.
• 성능 평가 지표로 C-statistic(분류 능력), 브리어 스코어(캘리브레이션), 계수 안정성(부트스트랩 샘플 간 계수 추정치의 분산)을 사용한다.
• 신경망 기반 모델에서 계수의 공적응을 줄이기 위해 드롭아웃 정규화를 적용했지만, 결과는 주로 로지스틱 회귀 및 보정 방법에 국한되었다.
• 교차검증을 통해 하이퍼파rameter(예: 라소의 람다, 엘라스틱넷의 알파)를 튜닝하여 각 방법 간 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 다중공선성이 임상 예측 모델의 예측 성능(분류 능력 및 캘리브레이션)에 유의미한 영향을 미치는가?
• RQ2 다중공선성이 다양한 모델링 방법에서 계수 추정치와 예측 변수 선택의 안정성에 어떤 영향을 미치는가?
• RQ3 보정, 차원 축소, 제약 최적화 중에서 고도로 다중공선성이 존재하는 상황에서 모델 안정성과 예측 정확도를 가장 잘 유지하는 방법은 무엇인가?
• RQ4 라소 방법은 공선성이 높은 예측 변수가 존재할 경우, 비록 수축 성질을 지닌다 해도 예측 변수 선택의 안정성이 떨어지는가?
• RQ5 임상적 사전 지식(PCM를 통해)을 활용하면 순수 데이터 기반 방법에 비해 모델 안정성 향상과 다중공선성 영향 완화에 기여하는가?

주요 결과

• 다중공선성이 예측 성능에 유의미한 영향을 주지 않았다: C-statistic와 브리어 스코어는 모든 방법에서 유사했으며, 표준 로지스틱 회귀까지 포함해 유사했다.
• 예측 성능는 안정되었지만, 다중공선성은 계수 안정성에 심각한 영향을 미쳤다. 특히 강력한 예측 변수 선택에 의존하는 라소와 같은 방법에서 두드러졌다. 부트스트랩 샘플 간에 선택된 예측 변수의 변동성이 매우 높았다.
• 라소는 예측 변수 선택에서 가장 높은 불안정성을 보였으며, 예측 변수가 높은 상관관계가 있음에도 불구하고 부트스트랩 재표본 간에 선택된 예측 변수가 크게 달라졌다.
• 리지와 엘라스틱넷은 공선성 있는 예측 변수에 대해 그룹 효과를 지녀 계수 추정치의 분산을 줄여 더 나은 안정성을 보였다.
• PCA 기반 모델은 중간 정도의 안정성을 보였지만, 임상적 의미가 명확하지 않은 변환된 성분으로 인해 해석이 어려운 모델을 초래하는 경향이 있었다.
• 사전 지식을 활용해 계수를 제약하는 PCM 방법은 순수 데이터 기반 방법에 비해 계수 추정치의 분산을 줄이고 안정성을 향상시켰으며, 특히 고도의 공선성 상황에서 두드러졌다.