[논문 리뷰] An Analysis on Ensemble Learning optimized Medical Image Classification with Deep Convolutional Neural Networks

Dominik Müller, Iñaki Soto‐Rey외 1명|arXiv (Cornell University)|2022. 01. 27.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

이 논문은 다양한 병원 영상 데이터셋과 아홉 개의 CNN 아키텍처를 활용하여, 의료 영상 분류를 위한 재현 가능한 딥러닝 파이프라인을 제안한다. 이 파이프라인은 앙상블 학습 기법인 증강, 스태킹, 배깅을 평가한다. 스태킹이 가장 높은 성능 향상을 보였으며, F1 점수를 최대 13% 향상시켰고, 단순 평균화 함수가 복잡한 학습 기반 함수보다 우수한 성능을 보였다.

ABSTRACT

Novel and high-performance medical image classification pipelines are heavily utilizing ensemble learning strategies. The idea of ensemble learning is to assemble diverse models or multiple predictions and, thus, boost prediction performance. However, it is still an open question to what extent as well as which ensemble learning strategies are beneficial in deep learning based medical image classification pipelines. In this work, we proposed a reproducible medical image classification pipeline for analyzing the performance impact of the following ensemble learning techniques: Augmenting, Stacking, and Bagging. The pipeline consists of state-of-the-art preprocessing and image augmentation methods as well as 9 deep convolution neural network architectures. It was applied on four popular medical imaging datasets with varying complexity. Furthermore, 12 pooling functions for combining multiple predictions were analyzed, ranging from simple statistical functions like unweighted averaging up to more complex learning-based functions like support vector machines. Our results revealed that Stacking achieved the largest performance gain of up to 13% F1-score increase. Augmenting showed consistent improvement capabilities by up to 4% and is also applicable to single model based pipelines. Cross-validation based Bagging demonstrated significant performance gain close to Stacking, which resulted in an F1-score increase up to +11%. Furthermore, we demonstrated that simple statistical pooling functions are equal or often even better than more complex pooling functions. We concluded that the integration of ensemble learning techniques is a powerful method for any medical image classification pipeline to improve robustness and boost performance.

연구 동기 및 목표

• 딥러닝 기반 의료 영상 분류 파이프라인에서 다양한 앙상블 학습 전략의 성능 영향을 조사하기 위해.
• 다양한 의료 영상 데이터셋에서 증강, 스태킹, 배깅 기법의 효과성을 평가하기 위해.
• 예측을 조합하기 위해 12종의 평균화 함수(무게 없는 평균에서 SVM 기반 방법까지)를 비교하기 위해.
• 이 앙상블 예측에서 복잡한 평균화 함수가 단순 통계 기반 함수보다 우수한지 여부를 판단하기 위해.
• 의료 영상 분류에서 앙상블 방법을 벤치마킹하기 위한 재현 가능한 파이프라인을 제공하기 위해.

제안 방법

• 파이프라인은 의료 영상에 적합한 최신 기술 기반 전처리 및 데이터 증강 기법을 통합한다.
• 네 개의 공개 의료 영상 데이터셋(다양한 복잡도)에서 아홉 개인 사전 훈련된 딥 컨volution 네트워크 아키텍처를 기반 학습기로 사용한다.
• 세 가지 앙상블 학습 전략을 체계적으로 적용한다: 증강(데이터 증강을 통한 모델 앙상블), 스태킹(기본 모델 예측을 조합하는 메타러닝), 배깅(교차검증 기반 모델 평균화).
• 12종의 평균화 함수를 예측 조합에 대해 평가하며, 무게 없는 평균에서 서포트 벡터 머신까지의 범위를 포함한다.
• 성능 평가에는 F1 점수를 사용하며, 정확성과 재현율의 균형을 확보하기 위해 철저한 교차검증을 실시하여 신뢰성과 재현 가능성을 확보한다.
• 전체 파이프라인은 보조 자료와 함께 오픈소스로 제공되어 완전한 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 증강, 스태킹, 배깅 중 어떤 앙상블 학습 전략이 의료 영상 분류에서 가장 높은 성능 향상을 이끌어내는가?
• RQ2 단순 평균에서 복잡한 학습 기반 방법까지 다양한 평균화 함수는 앙상블 예측 성능에 어떤 영향을 미치는가?
• RQ3 앙상블 학습은 다양한 의료 영상 데이터셋 간의 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 이 맥락에서 단순 통계 기반 평균화 함수가 더 복잡한 학습 기반 평균화 함수보다 뛰어나게 성능을 내는가?
• RQ5 앙상블 방법의 성능 향상은 다양한 CNN 아키텍처와 데이터셋 복잡도 간에 일관되게 유지되는가?

주요 결과

• 스태킹이 가장 큰 성능 향상을 기록하여, 개별 모델 대비 F1 점수를 최대 13% 향상시켰다.
• 증강 전략은 일관되게 성능을 향상시켜 최대 4% 향상되었으며, 단일 모델 파이프라인에서도 효과적이었다.
• 교차검증 기반 배깅은 뚜렷한 성능 향상을 보였으며, F1 점수 향상 최대 11%를 기록했고, 스태킹의 성능에 근접했다.
• 단순 통계 기반 평균화 함수(무게 없는 평균 등)는 더 복잡한 학습 기반 평균화 함수(SVM 등)와 동등하거나 그들을 능가하는 성능을 보였다.
• 제안된 파이프라인은 모든 네 개의 의료 영상 데이터셋에서 일관된 향상을 보였으며, 복잡도에 관계없이 유사한 성능 향상을 기록했다.
• 앙상블 학습의 통합은 의료 영상 분류 과제에서 모델의 강건성과 예측 신뢰도를 크게 향상시켰다.