[논문 리뷰] Merging versus Ensembling in Multi-Study Machine Learning: Theoretical Insight from Random Effects

Zoe Guan, Giovanni Parmigiani외 1명|arXiv (Cornell University)|2019. 05. 17.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 교차 연구 이질성 하에서 선형 회귀 모델에서 모든 데이터셋을 통합하는 것과 다중 연구 앙상블을 비교한다. 연구는 예측 정확도에서 앙상블이 통합을 능가하는 전환점에 대해 분석적으로 유도하며, 관계가 동질적일 경우 통합이 더 낫지만 이질성이 증가함에 따라 앙상블이 뛰어나지 않는다는 것을 보여주며, 다중 연구 기계학습에서 연구를 통합할지 여부에 대한 의사결정 기준을 제공한다.

ABSTRACT

A critical decision point when training predictors using multiple studies is whether these studies should be combined or treated separately. We compare two multi-study learning approaches in the presence of potential heterogeneity in predictor-outcome relationships across datasets. We consider 1) merging all of the datasets and training a single learner, and 2) multi-study ensembling, which involves training a separate learner on each dataset and combining the predictions resulting from each learner. In a linear regression setting, we show analytically and confirm via simulation that merging yields lower prediction error than ensembling when the predictor-outcome relationships are relatively homogeneous across studies. However, as cross-study heterogeneity increases, there exists a transition point beyond which ensembling outperforms merging. We provide analytic expressions for the transition point in various scenarios, study asymptotic properties, and illustrate how transition point theory can be used for deciding when studies should be combined with an application from metabolomics.

연구 동기 및 목표

• 다양한 연구를 하나의 모델로 통합할 것인지, 개별 모델을 훈련한 후 예측을 앙상블할 것인지에 대한 근본적인 선택을 해결하기 위해.
• 다중 연구 학습에서 예측-결과 관계의 교차 연구 이질성이 예측 성능에 미치는 영향을 이해하기 위해.
• 선형 회귀 설정에서 앙상블이 통합을 능가하는 조건을 분석적으로 도출하기 위해.
• 이질성 수준에 따라 연구를 통합할지 여부를 결정하는 이론적 의사결정 기준을 제공하고, 대사체 분석 응용 사례에서 검증하기 위해.

제안 방법

• 연구 간 회귀 계수의 변동성을 모델링하기 위해 무작위 효과 프레임워크를 정식화하여 문제를 수립하기 위해.
• 선형 회귀에서 통합 및 앙상블 전략에 대한 예측 오차에 대한 닫힌 형식의 표현식을 유도하기 위해.
• 이질성이 증가함에 따라 앙상블 예측 오차가 통합 오차 이하로 떨어지는 전환점을 규명하기 위해.
• 대규모 표본 크기에서 전환점의 행동을 분석하기 위해 渐近 분석을 사용하기 위해.
• 유도된 전환점 이론을 실제 대사체 데이터셋에 적용하여 실용적 유용성을 입증하기 위해.
• 다양한 수준의 교차 연구 이질성에서 분석 결과를 검증하기 위해 시뮬레이션을 수행하기 위해.

실험 결과

연구 질문

• RQ1 예측-결과 관계가 연구 간으로 변할 때, 다중 연구 선형 회귀에서 언제 앙상블이 통합을 능가하는가?
• RQ2 앙상블의 예측 오차가 통합의 오차 이하로 떨어지는 분석적 임계값은 무엇인가?
• RQ3 통합과 앙상블 간의 전환점은 연구 간 무작위 효과의 분산에 어떻게 의존하는가?
• RQ4 연구 수나 표본 수가 증가함에 따라 전환점의 渐近적 성질은 어떻게 되는가?
• RQ5 유도된 전환점 이론은 실제 응용에서 연구를 통합할지 여부에 대한 실질적 의사결정을 이끌 수 있는가?

주요 결과

• 예측-결과 관계가 연구 간 상대적으로 동질적일 경우, 통합이 앙상블보다 낮은 예측 오차를 낳는다.
• 교차 연구 이질성이 증가함에 따라, 앙상블이 통합을 능가하는 잘 정의된 전환점이 존재한다.
• 전환점의 분석적 유도가 가능하며, 이는 무작위 효과의 분산과 연구 수에 의존한다.
• 시뮬레이션 결과는 이론적 예측과 일치하여, 유도된 이질성 임계값을 초과하면 앙상블이 통합을 능가한다는 것을 확인한다.
• 전환점 이론은 데이터 기반의 연구 통합 의사결정을 가능하게 하며, 실제 대사체 데이터셋에서 이를 입증하였다.
• 渐近 분석 결과 전환점은 표본 크기가 증가함에 따라 안정화됨을 보여주며, 대규모 응용에 대한 강건성을 뒷받침한다.