[논문 리뷰] Med3D: Transfer Learning for 3D Medical Image Analysis

Sihong Chen, Kai Ma외 1명|arXiv (Cornell University)|2019. 04. 01.

COVID-19 diagnosis using AI참고 문헌 40인용 수 332

한 줄 요약

Med3D는 대규모 다중 도메인 3D 의학 분할 데이터셋(3DSeg-8)을 만들고, 여덟 개의 디코더를 가진 이종 3D 인코더를 학습시키며, 흡입(segmentation) lung segmentation, pulmonary nodule classification, 그리고 LiTS liver segmentation에 강한 전이 성능을 보여 Kinetics 사전 학습 및 scratch 학습을 능가한다.

ABSTRACT

The performance on deep learning is significantly affected by volume of training data. Models pre-trained from massive dataset such as ImageNet become a powerful weapon for speeding up training convergence and improving accuracy. Similarly, models based on large dataset are important for the development of deep learning in 3D medical images. However, it is extremely challenging to build a sufficiently large dataset due to difficulty of data acquisition and annotation in 3D medical imaging. We aggregate the dataset from several medical challenges to build 3DSeg-8 dataset with diverse modalities, target organs, and pathologies. To extract general medical three-dimension (3D) features, we design a heterogeneous 3D network called Med3D to co-train multi-domain 3DSeg-8 so as to make a series of pre-trained models. We transfer Med3D pre-trained models to lung segmentation in LIDC dataset, pulmonary nodule classification in LIDC dataset and liver segmentation on LiTS challenge. Experiments show that the Med3D can accelerate the training convergence speed of target 3D medical tasks 2 times compared with model pre-trained on Kinetics dataset, and 10 times compared with training from scratch as well as improve accuracy ranging from 3% to 20%. Transferring our Med3D model on state-the-of-art DenseASPP segmentation network, in case of single model, we achieve 94.6\% Dice coefficient which approaches the result of top-ranged algorithms on the LiTS challenge.

연구 동기 및 목표

• 대형 3D 의학 사전 학습의 필요성에 대한 동기 부여(레이블링된 데이터가 제한적이기 때문).
• 대규모 다중 도메인 3D 의학 분할 데이터셋(3DSeg-8) 생성.
• 불완전한 주석을 다루기 위해 공유 인코더와 다중 분기 디코더를 갖춘 Med3D 설계.
• Med3D 사전 학습 인코더가 분할 및 분류 태스크에서 전이 학습을 개선한다는 것을 입증.
• 커뮤니티에 사전 학습된 Med3D 모델과 코드 제공.

제안 방법

• 다양한 모달리티와 타깃을 가진 여덟 개의 3D 분할 데이터셋을 3DSeg-8로 집계.
• 도메인 변동을 줄이기 위해 공간 간격과 강도를 정규화.
• 불완전한 주석을 다루기 위해 8개의 병렬 디코더 가지를 가진 3D 인코더를 사용.
• encoder를 공유하고 디코더가 데이터셋별로 특화되도록 다중 도메인 objective로 Med3D를 학습.
• 하류 태스크(폐 분할, 폐포 결절 분류, LiTS 간 분할)에 Med3D 인코더를 전이.
• Kinetics에서 사전 학습되었거나 초기 학습에서 학습된 모델과 비교.

실험 결과

연구 질문

• RQ1 다중 도메인 3D 의학 사전 학습(Med3D)이 장기와 모달리티에 걸친 보편적 3D 특징을 학습하는가?
• RQ2 Med3D 사전 학습이 수렴 속도를 가속하고 하류 3D 의학 태스크의 정확도를 개선하는가(Kinetics 또는 scratch 학습과 비교)?
• RQ3 사전 학습 데이터의 다양성(하나 도메인 vs 여덟 도메인)이 전이 성능에 어떤 영향을 주는가?
• RQ4 Med3D 특징이 3D 의학 영상에서 분할과 분류 태스크를 모두 향상시킬 수 있는가?
• RQ5 도전적인 공개 LiTS 간 분할 태스크에서 Med3D의 성능은 어떠한가?

주요 결과

• Med3D는 타깃 태스크의 수렴 속도를 높이고 정확도를 Kinetics 및 scratch 학습에 비해 향상시키며(일부 태스크에서 Dice가 최대 약 20% 포인트 증가).
• 여덟 도메인 전체로 학습했을 때 가장 좋은 결과를 보이며(여덟 도메인 Med3D가 단일/이중/사 도메인 변형을 능가).
• 폐 분할 및 폐결절 분류로의 Med3D 인코더 전이가 다수의 ResNet 백본에서 더 높은 Dice/정확도를 얻어 Kin 사전 학습 및 scratch 기반보다 우수.
• LiTS에서 Med3D는 95% Dice 근접의 94.6% Dice 및 1.9 ASSD를 달성하여 다수의 순수 3D 방법 및 Kin 사전 학습을 능가.
• DenseASPP를 Med3D로 강화한 간 분할이 단일 모델로도 최첨단 성능에 근접한 Dice를 달성.