[논문 리뷰] Basic Ensembles of Vanilla-Style Deep Learning Models Improve Liver Segmentation From CT Images

A. Emre Kavur, Ludmila I. Kuncheva외 1명|arXiv (Cornell University)|2020. 01. 27.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 연구는 하이퍼파rameter 튜닝 없이 오프더섀프 딥 러닝 모델(U-Net, Deepmedic, V-Net, Dense V-Net)을 사용하여 CT 영상에서 간 분할을 위한 단순하고 재현 가능한 앙상블 방법을 제안한다. 기본적인 학습되지 않은 규칙(다수결정, 평균, 곱셈, 최소/최대값)을 통해 모델 예측을 조합함으로써, 두 개의 공개 데이터셋에서 개별 모델보다 앙상블이 유의미하게 뛰어난 성능을 보이며, 평균 조합기가 가장 우수한 성능을 기록한다.

ABSTRACT

Segmentation of the liver from 3D computer tomography (CT) images is one of the most frequently performed operations in medical image analysis. In the past decade, Deep Learning Models (DMs) have offered significant improvements over previous methods for liver segmentation. The success of DMs is usually owed to the user's expertise in deep learning as well as to intricate training procedures. The need for bespoke expertise limits the reproducibility of empirical studies involving DMs. Today's consensus is that an ensemble of DMs works better than the individual component DMs. In this study we set off to explore the potential of ensembles of publicly available, `vanilla-style' DM segmenters Our ensembles were created from four off-the-shelf DMs: U-Net, Deepmedic, V-Net, and Dense V-Networks. To prevent further overfitting and to keep the overall model simple, we use basic non-trainable ensemble combiners: majority vote, average, product and min/max. Our results with two publicly available data sets (CHAOS and 3Dircadb1) demonstrate that ensembles are significantly better than the individual segmenters on four widely used metrics.

연구 동기 및 목표

• 딥 러닝 기반 의료 영상 분할 분야의 재현성 위기를 해결하기 위해 맞춤형 모델 설계와 광범위한 하이퍼파rameter 튜닝을 피하고자 한다.
• 공개적으로 이용 가능한 기본 설정의 딥 러닝 모델을 단순한 앙성으로 조합했을 때, 개별 모델보다 간 분할 성능이 향상되는지 평가하고자 한다.
• 작은 의료 영상 데이터셋에서 과적합이 발생하기 쉬운 상황에서 가장 효과적인 학습되지 않은 앙성 조합기(다수결정, 평균, 곱셈, 최소/최대값)를 식별하고자 한다.
• 딥 러닝 전문 지식이 부족한 연구자들이 쉽게 사용할 수 있는, 최소한의 노력으로도 적용 가능한 솔루션을 제공하여 의료 AI 연구의 재현성을 높이고자 한다.

제안 방법

• 최신 기술 수준의 공개 가능 딥 러닝 모델 네 가지를 선택: U-Net, Deepmedic, V-Net, Dense V-Net. 모든 모델은 기본 하이퍼파ram터와 아키텍처로 훈련하였다.
• 학습되지 않은 앙성 조합기 네 가지를 적용: 다수결정, 평균, 곱셈, 최소/최대값. 이는 기초 모델의 분할 출력을 조합하기 위해 사용되었다.
• 평가를 위해 두 개의 공개 데이터셋(CHAOS 및 3Dircadb1)을 사용하여 벤치마크 데이터 간 일관성과 재현성을 확보하였다.
• 표준 평가 지표 네 가지(DICE, HD95, HD, HD95)를 사용하여 성능을 평가하였으며, 최적화 일관성을 확보하기 위해 DICE 지표는 반전 처리하였다.
• 작은 데이터셋에서 과적합을 방지하고자 조합기의 캘리브레이션 또는 추가 훈련을 피하였다.
• 모든 지표와 데이터셋에서 앙성 성능을 개별 모델과 비교하여 상대적 향상도와 내구성을 평가하였다.

실험 결과

연구 질문

• RQ1 모델 특화 튜닝 없이도 오프더섀프 딥 러닝 모델의 단순한 앙성은 CT 영상에서 간 분할 성능을 개별 모델보다 뛰어나게 할 수 있는가?
• RQ2 다수결정, 평균, 곱셈, 최소/최대값 중 어떤 학습되지 않은 앙성 조합기가 여러 지표와 데이터셋에서 가장 일관되고 뛰어난 성능을 내는가?
• RQ3 제안된 바닐라 스타일의 앙성은 개별 딥 러닝 모델보다 작은 의료 영상 데이터셋에서 과적합 문제를 완화하는가?
• RQ4 개별 모델 출력의 캘리브레이션 문제로 인해 앙성 성능에 영향을 미치는 정도는 어느 정도이며, 캘리브레이션 없이도 단순한 조합기가 여전히 안정적인 성능을 낼 수 있는가?
• RQ5 이 앙성 접근 방식은 맞춤형 모델 설계와 광범위한 하이퍼파aram터 튜닝이 필요 없는 재현 가능한 저비용 기준선으로서 의료 영상 분할에 활용될 수 있는가?

주요 결과

• 바닐라 딥 러닝 모델의 앙성은 CHAOS 및 3Dircadb1 데이터셋 양쪽에서 네 가지 평가 지표 모두에서 모든 개별 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 평균 조합기가 총 32개의 비교 중 25번의 승리를 기록하며 가장 우수한 종합 성능을 기록하였다(승리 수 - 패배 수 기준).
• 다수결정 앙성은 CHAOS 데이터셋에서 최고 성능을 기록하였고, 평균 조합기는 두 데이터셋 전반에서 가장 우수한 성능을 기록하였다.
• 곱셈 및 최소/최대값 조합기는 경쟁력 있는 성능를 보였지만, 총 승리 수와 일관성 면에서 평균 조합기에 뒤진다.
• 결과는 작은 의료 영상 데이터셋에서 과적합이 심각한 문제임을 시사하며, 기본 설정으로 훈련된 개별 모델 대비 단순한 앙성 조합이 이 문제를 줄이는 데 효과적임을 보여준다.
• 가중 다수결정, 나이브 베이즈, 행동 지식 공간(BKS)과 같은 학습된 조합기 역시 단순한 조합기와 유사한 성능을 기록하여, 작은 데이터셋에서는 복잡도 증가가 성능 향상에 기여하지 않는다는 점을 뒷받침한다.