[논문 리뷰] Cross-validation Approaches for Multi-study Predictions

Boyu Ren, Prasad Patil외 3명|arXiv (Cornell University)|2020. 07. 24.

Machine Learning in Healthcare참고 문헌 23인용 수 4

한 줄 요약

이 논문은 이질적인 데이터셋 간의 일반화 모델과 전문가 모델을 결합하는 데이터 재사용 없음(no-data-reuse, NDR) 스태킹 프레임워크를 제안한다. 학습 데이터를 재사용하지 않고 스태킹 가중치를 추정함으로써, 과적합을 줄이고 오라클과 유사한 성능을 달성하며, 특히 연구 수준의 차이가 중간 정도이고 표본 크기가 클 경우 정확도가 향상된다.

ABSTRACT

We consider prediction in multiple studies with potential differences in the relationships between predictors and outcomes. Our objective is to integrate data from multiple studies to develop prediction models for unseen studies. We propose and investigate two cross-validation approaches applicable to multi-study stacking, an ensemble method that linearly combines study-specific ensemble members to produce generalizable predictions. Among our cross-validation approaches are some that avoid reuse of the same data in both the training and stacking steps, as done in earlier multi-study stacking. We prove that under mild regularity conditions the proposed cross-validation approaches produce stacked prediction functions with oracle properties. We also identify analytically in which scenarios the proposed cross-validation approaches increase prediction accuracy compared to stacking with data reuse. We perform a simulation study to illustrate these results. Finally, we apply our method to predicting mortality from long-term exposure to air pollutants, using collections of datasets.

연구 동기 및 목표

• 예측 변수와 결과의 분포가 다른 여러 연구가 존재할 때 강건한 예측 모델을 개발하는 데 도전하는 것.
• 새로운, 관측되지 않은 연구를 위한 일반화 예측(Generalist predictions)과 특정 포함된 연구를 위한 전문가 예측(Specialist predictions)을 모두 지원하는 프레임워크를 개발하는 것.
• 가중치 최적화 과정에서 데이터 재사용으로 인한 스태킹 기반 앙상블 모델의 과적합을 완화하는 것.
• 제안된 데이터 재사용 없음 기법이 유한 표본에서 데이터 재사용 방법에 비해 거의 최적의 스태킹 가중치를 도출하고 예측 정확도를 향상시킨다는 것을 입증하는 것.

제안 방법

• 개별 연구에 특화된 예측 함수(Study-Specific Functions, SPFs)를 통합하여 단일 앙상블 예측 함수를 만드는 데 스태킹을 사용한다.
• SPF 학습과 유틸리티 함수 추정을 분리하는 데이터 재사용 없음(NDR) 절차를 통해 스태킹 가중치를 추정한다.
• 예를 들어 평균 제곱오차와 같은 작업별 유틸리티 함수를 사용하여, 동일한 데이터를 학습과 평가에 모두 재사용하지 않고도 가중치 최적화를 이끌어내는 데 도움을 준다.
• 점근적 이론을 적용하여 NDR-스태킹 모델이 온건한 정규성 조건 하에서 오라클과 유사한 성능을 달성함을 보여준다.
• 시뮬레이션 연구를 통해 이론적 결과를 검증하고, 평균 제곱오차 측면에서 NDR와 기존의 데이터 재사용(DR) 스태킹 간의 성능을 비교한다.
• 연구 이질성이 중간 정도이고 표본 크기가 클 경우 NDR가 DR을 능가하는 조건을 규명한다.

실험 결과

연구 질문

• RQ1 다중 연구 예측에서 데이터 재사용 없음 스태킹이 데이터 재사용 스태킹을 능가하는 조건은 무엇인가?
• RQ2 제안된 프레임워크는 점근적 오라클 기준과 거의 동일한 성능을 달성할 수 있는가?
• RQ3 스태킹된 예측 모델의 정확도는 연구 수와 그 표본 크기에 어떻게 의존하는가?
• RQ4 연구 이질성(예: 계수 분포의 다양성)은 데이터 재사용 유무에 따라 스태킹 성능에 어떤 영향을 미치는가?
• RQ5 NDR 접근법은 다수의 연구에서 학습된 앙상블 모델에서 과적합을 줄일 수 있는가? 이는 상호교환 가능하지 않은 연구들에 대해서도 성립하는가?

주요 결과

• 데이터 재사용 없음(NDR) 스태킹 프레임워크는 온건한 정규성 조건 하에서 이론적 오라클 기준에 근접한 거의 최적의 성능을 보이는 스태킹된 예측 함수를 생성한다.
• 연구 수 $K$와 표본 크기 $n_k$가 커질수록 NDR와 데이터 재사용(DR) 스태킹 모두 점근적 오라클 성능에 가까워진다.
• 특수한 경우 $β_0 = 0$일 때, NDR 방법은 DR 스태킹보다 엄밀히 더 높은 기대 예측 정확도를 보이며, 모든 $K > 2$에 대해 $\mathbb{E}(\psi(\hat{w}^{\text{DR}}) - \psi(\hat{w}^{\text{CS}})) > 0$이다.
• 연구 계수들이 공통 값에 가까워질 경우($\sigma_\beta \to 0$), DR과 NDR 접근법 간 기대 예측 오차의 차이가 점점 줄어들며, NDR의 성능 향상이 감소함을 나타낸다.
• 계수 변동성이 증가함에 따라($\sigma_\beta \to \infty$), DR 스태킹의 기대 예측 오차는 NDR에 비해 발산함을 보이며, 이는 NDR가 고도로 이질적인 상황에서 더 강건함을 시사한다.
• 몬테카를로 시뮬레이션은 $\mathbb{E}(\psi(\hat{w}^{\text{CS}}) - \psi(w_g^0))$가 $c_0 + c_1 \log(K)/K$의 형태로 $K$에 따라 감소함을 확인하며, 더 많은 연구가 있을수록 성능 향상이 이루어짐을 나타낸다.