[논문 리뷰] Checkpoint Ensembles: Ensemble Methods from a Single Training Process

Hugh Chen, Scott Lundberg외 1명|arXiv (Cornell University)|2017. 10. 09.

Machine Learning in Healthcare참고 문헌 7인용 수 35

한 줄 요약

이 논문은 단일 훈련 과정 동안 검증 점수를 기반으로 선택된 여러 저장된 모델 체크포인트의 예측을 평균화함으로써 딥러닝 모델 성능을 향상시키는 체크포인트 앙상블 기법을 소개한다. 이 방법은 전통적인 앙상블에 비해 훨씬 적은 훈련 오버헤드로 유사한 성능 향상을 달성하며, 텍스트, 이미지, EHR 데이터 전반에서 최소 검증 선택 기법 및 기타 단일 프로세스 평균화 기법을 초월한다.

ABSTRACT

We present the checkpoint ensembles method that can learn ensemble models on a single training process. Although checkpoint ensembles can be applied to any parametric iterative learning technique, here we focus on neural networks. Neural networks' composable and simple neurons make it possible to capture many individual and interaction effects among features. However, small sample sizes and sampling noise may result in patterns in the training data that are not representative of the true relationship between the features and the outcome. As a solution, regularization during training is often used (e.g. dropout). However, regularization is no panacea -- it does not perfectly address overfitting. Even with methods like dropout, two methodologies are commonly used in practice. First is to utilize a validation set independent to the training set as a way to decide when to stop training. Second is to use ensemble methods to further reduce overfitting and take advantage of local optima (i.e. averaging over the predictions of several models). In this paper, we explore checkpoint ensembles -- a simple technique that combines these two ideas in one training process. Checkpoint ensembles improve performance by averaging the predictions from "checkpoints" of the best models within single training process. We use three real-world data sets -- text, image, and electronic health record data -- using three prediction models: a vanilla neural network, a convolutional neural network, and a long short term memory network to show that checkpoint ensembles outperform existing methods: a method that selects a model by minimum validation score, and two methods that average models by weights. Our results also show that checkpoint ensembles capture a portion of the performance gains that traditional ensembles provide.

연구 동기 및 목표

• 다중 독립 모델 훈련의 계산 비용 없이 딥러닝에서 과적합 및 일반화 문제를 해결하기 위해.
• 단일 훈련 프로세스가 체크포인트 전략적 선택을 통해 앙상블 유사 성능 향상을 이끌 수 있는지 탐색하기 위해.
• 예측 정확도 및 효율성 측면에서 체크포인트 앙상블을 최소 검증 선택 및 기타 단일 프로세스 평균화 기법과 비교하기 위해.
• 다양한 아키텍처(MLP, CNN, LSTM)와 실제 데이터셋(텍스트, 이미지, EHR)에서 이 방법의 성능 평가하기 위해.

제안 방법

• 훈련 중 각 에포크마다 모델 체크포인트를 저장하여 학습된 가중치 전체를 유지한다.
• 전체 훈련 런 동안 검증 점수(예: 최소 손실 또는 최고 정확도) 기반으로 상위-k개 모델을 선택한다.
• 추론 시점에 선택된 상위-k개 체크포인트의 예측을 평균화하여 최종 출력을 생성한다.
• 검증 세트를 사용해 체크포인트 선택을 안내함으로써 일반화 능력이 뛰어난 모델을 우선순위로 지정한다.
• 기준 방법(최소 검증(MV), 마지막-k개 스무딩(LKS), 체크포인트 스무딩(CS))과 비교하기 위해 예측의 무게 없는 평균화를 사용한다.
• 세 가지 실제 데이터셋에서 완전 연결 네트워크, 컨volutional 신경망, 장단기 기억 네트워크에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 다중 독립 모델 훈련 없이 단일 훈련 프로세스로 기존 앙상블 기법과 유사한 성능 향상을 달성할 수 있는가?
• RQ2 체크포인트 앙상블은 최소 검증 선택 대비 예측 정확도 및 일반화 능력 측면에서 어떻게 비교되는가?
• RQ3 체크포인트 앙상블의 성능 향상은 다양한 신경망 아키텍처 및 데이터셋 간에 달라지는가?
• RQ4 체크포인트 앙상블의 향상은 기준 방법 및 부트스트랩 기반 표준 오차 대비 통계적으로 유의미한가?
• RQ5 체크포인트 앙상블은 데이터가 적거나 노이즈가 많은 환경에서 과적합을 효과적으로 줄이고 모델의 강건성을 향상시킬 수 있는가?

주요 결과

• 체크포인트 앙상블은 모든 데이터셋과 아키텍처에서 최소 검증 선택을 뛰어넘었으며, Reuters 데이터셋에서는 평균 AUC 향상 0.0062, EHR 히포카프니아 작업에서는 0.0060를 기록했다.
• 산소 농도 감소(Desaturation)에 대한 OR 데이터에서, 학습률 0.0005일 때 체크포인트 앙상블은 최소 검증 대비 AUC 0.0062 향상되었으며, 이 향상의 표준편차는 0.0004에 불과했다.
• 히포카프니아 예측 작업에서, 학습률 0.005일 때 체크포인트 앙상블은 최소 검증 대비 AUC 0.0127 향상되었으며, 이 향상의 표준편차는 0.0006이었다. 이는 통계적 유의성을 시사한다.
• 이 방법은 완전 연결, CNN, LSTM 네트워크 전반에서 일관되게 성능 향상을 이끌었으며, 광범위한 적용 가능성을 입증했다.
• 체크포인트 앙상블은 EHR 산소 농도 감소 작업에서 최신 기술 수준의 XGBoost 모델을 뛰어넘는 성능 향상을 달성했으며, 강력한 일반화 능력을 보였다.
• 체크포인트 앙상블의 최적 성능는 최소 검증 선택보다 빨리 도달했으며, 정확도를 희생시키지 않은 채 훈련 시간을 단축시킬 수 있음을 시사한다.