[논문 리뷰] A New Ensemble Learning Framework for 3D Biomedical Image Segmentation

Hao Zheng, Yizhe Zhang외 5명|arXiv (Cornell University)|2018. 12. 10.

Advanced Neural Network Applications참고 문헌 24인용 수 12

한 줄 요약

이 논문은 2D 및 3D 딥 러닝 모델을 풀 컨volution 네트워크 기반 메타-러닝 기반 메타-러너를 통해 조합하는 3D 생물의학 영상 분할을 위한 혁신적인 앙상블 학습 프레임워크를 제안한다. 기반-러너에서 생성된 가짜 레이블을 수동 애너테이션 대신 메타-러너를 훈련시킴으로써 과적합을 줄이고 풍부한 비라벨 데이터를 활용하며, 두 개의 공개 데이터셋에서 완전 지도, 준지도, 전도성 설정 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

3D image segmentation plays an important role in biomedical image analysis. Many 2D and 3D deep learning models have achieved state-of-the-art segmentation performance on 3D biomedical image datasets. Yet, 2D and 3D models have their own strengths and weaknesses, and by unifying them together, one may be able to achieve more accurate results. In this paper, we propose a new ensemble learning framework for 3D biomedical image segmentation that combines the merits of 2D and 3D models. First, we develop a fully convolutional network based meta-learner to learn how to improve the results from 2D and 3D models (base-learners). Then, to minimize over-fitting for our sophisticated meta-learner, we devise a new training method that uses the results of the base-learners as multiple versions of "ground truths". Furthermore, since our new meta-learner training scheme does not depend on manual annotation, it can utilize abundant unlabeled 3D image data to further improve the model. Extensive experiments on two public datasets (the HVSMR 2016 Challenge dataset and the mouse piriform cortex dataset) show that our approach is effective under fully-supervised, semi-supervised, and transductive settings, and attains superior performance over state-of-the-art image segmentation methods.

연구 동기 및 목표

• 3D 생물의학 영상 분할을 위한 2D 및 3D 컨volution 네트워크에서 시야 범위와 인접 슬라이스 정보 활용 간의 상충 관계를 해결하기 위해.
• 아키텍처 편향 없이 2D 및 3D 기반-러너의 상호보완적 강점을 조합하는 견고한 앙상블 프레임워크를 개발하기 위해.
• 제한된 라벨이 있는 3D 데이터를 바탕으로 메타-러너의 과적합을 최소화하기 위해 가짜 레이블을 훈련 타겟으로 사용하기 위해.
• 메타-러너 훈련 중에 비라벨 3D 영상 데이터를 효과적으로 활용하여 일반화 능력과 성능을 향상시키기 위해.
• 실제 생물의학 데이터셋에서 완전 지도, 준지도, 전도성 설정 전반에서 뛰어난 분할 정확도를 달성하기 위해.

제안 방법

• 다양한 2D 및 3D 기반-러너의 출력을 입력 특징으로 사용하여 예측을 개선하기 위해, 풀 컨volution 네트워크(FCN) 기반의 메타-러너를 훈련한다.
• 수동 애너테이션 대신 기반-러너에서 생성된 가짜 레이블을 사용하는 새로운 훈련 전략을 도입함으로써 과적합을 줄이고 비라벨 데이터의 활용을 가능하게 한다.
• 메타-러너는 두 단계 과정을 통해 훈련된다: 무작위 초기화 이후 최근접 이웃(NT-fit) 보정을 통해 수렴성과 성능을 향상시킨다.
• 이 프레임워크는 완전 지도(오로지 라벨 데이터 사용), 준지도(라벨 및 비라벨 데이터 사용), 전도성(라벨 없이 테스트 데이터를 메타-러너 훈련 중에 사용) 등 다양한 학습 설정을 지원한다.
• 메타-러너 훈련 중에 수동 애너테이션에 직접 의존하지 않고, 기반-러너 예측에서 추출된 지식을 기반으로 학습을 이끌도록 한다.
• 프레임워크는 두 개의 공개 데이터셋(HVSMR 2016 및 마우스 피리포름 코르티시스)에서 평가되었으며, Dice 점수 및 기타 표준 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 메타-러너가 2D 및 3D 기반-러너의 예측을 효과적으로 조합하여 개별 모델을 초월해 3D 생물의학 영상 분할 성능을 향상시킬 수 있는가?
• RQ2 수동 애너테이션 대신 가짜 레이블을 사용해 메타-러너를 훈련함으로써 과적합이 줄어들고 일반화 능력이 향상되는가, 특히 라벨이 제한된 경우에 효과적인가?
• RQ3 제안된 프레임워크가 완전 지도, 준지도, 전도성 학습 설정 전반에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 메타-러너 훈련 중 비라벨 데이터 사용이 분할 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 무작위 초기화 이후 최근접 이웃 보정을 적용한 제안된 훈련 전략이 표준 메타-러너 훈련 방식보다 수렴성과 최종 성능을 향상시키는가?

주요 결과

• 완전 지도 학습 설정에서 제안된 프레임워크는 HVSMR 2016 데이터셋에서 Dice 점수 0.215를 기록하여 베이스라인 평균 앙상블 및 난이도 높은 메타-러너를 초월한다.
• 전도성 설정에서 메타-러너는 훈련 데이터만 사용할 경우 0.215였던 Dice 점수를 비라벨 테스트 데이터를 활용해 0.234로 향상시켰다.
• 마우스 피리포름 코르티시스 데이터셋에서 전도성 설정에서 메타-러너는 0.9970의 Dice 점수를 기록하여 훈련 전용 방법의 0.9967 점수를 초월했다.
• 절단 실험 결과, 메타-러너 훈련에 오직 가짜 레이블을 사용할 경우 0.215(Dice)의 성능을 기록한 반면, 오직 진짜 레이블을 사용할 경우 0.192(Dice)로 성능이 떨어져, 가짜 레이블 훈련 전략의 효과를 입증했다.
• 무작위 초기화와 최근접 이웃 보정을 조합한 전략은 성능 향상에 크게 기여했으며, S7(NT-fit)가 모든 설정에서 S6(무작위 초기화)를 능가하는 성능을 보였다.
• 준지도 학습 설정에서, 프레임워크는 HVSMR 2016 데이터셋에서 메타-러너 점수 0.063(Group A) 및 0.038(Group B)를 기록하여 비라벨 데이터를 활용함으로써 강력한 일반화 능력을 입증했다.