[논문 리뷰] Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis

Zongwei Zhou, Vatsal Sodha외 5명|arXiv (Cornell University)|2019. 08. 19.

AI in cancer detection참고 문헌 15인용 수 44

한 줄 요약

이 논문은 라벨이 없는 3D 의학 영상에서 자기지도 학습으로 학습된 Generic Autodidactic Models(Models Genesis)를 제시하며, 다양한 3D 및 2D 과제에서 강한 전이 성능을 보이고 학습-from-scratch 및 2D ImageNet 기반 기준선을 능가합니다. 또한 커뮤니티 사용을 위해 모델을 오픈소스로 공개합니다.

ABSTRACT

Transfer learning from natural image to medical image has established as one of the most practical paradigms in deep learning for medical image analysis. However, to fit this paradigm, 3D imaging tasks in the most prominent imaging modalities (e.g., CT and MRI) have to be reformulated and solved in 2D, losing rich 3D anatomical information and inevitably compromising the performance. To overcome this limitation, we have built a set of models, called Generic Autodidactic Models, nicknamed Models Genesis, because they are created ex nihilo (with no manual labeling), self-taught (learned by self-supervision), and generic (served as source models for generating application-specific target models). Our extensive experiments demonstrate that our Models Genesis significantly outperform learning from scratch in all five target 3D applications covering both segmentation and classification. More importantly, learning a model from scratch simply in 3D may not necessarily yield performance better than transfer learning from ImageNet in 2D, but our Models Genesis consistently top any 2D approaches including fine-tuning the models pre-trained from ImageNet as well as fine-tuning the 2D versions of our Models Genesis, confirming the importance of 3D anatomical information and significance of our Models Genesis for 3D medical imaging. This performance is attributed to our unified self-supervised learning framework, built on a simple yet powerful observation: the sophisticated yet recurrent anatomy in medical images can serve as strong supervision signals for deep models to learn common anatomical representation automatically via self-supervision. As open science, all pre-trained Models Genesis are available at https://github.com/MrGiovanni/ModelsGenesis.

연구 동기 및 목표

• 라벨이 없는 의학 영상으로 구축된 소스 모델이 전이 학습을 통해 고성능 타깃 모델을 생성할 수 있음을 시연한다.
• 3D Models Genesis가 2D 전이보다 3D 해부 정보를 더 잘 활용한다는 것을 보인다.
• 일반성을 입증하기 위해 여러 기관, 질병 및 모달리티에서 Genesis를 평가한다.
• 3D 자기지도 학습의 이점을 정량화하기 위해 scratch 학습 및 ImageNet 기반 전이와 비교한다.

제안 방법

• 네 가지 변환(비선형 강도, 국지적인 픽셀 셔플링, 아웃페인팅, 인페인팅)을 단일 영상 복원 작업에 통합한 통합 자기지도 프레임워크를 제안한다.
• 변형된 패치로부터 원래 패치를 복원하도록 인코더–디코더 네트워크를 학습시켜 이전 가능한 특징 학습을 가능하게 한다.
• 라벨이 없는 흉부 CT 데이터(LIDC-IDRI)로 Genesis Chest CT를 사전 학습하고 ChestX-ray83으로 Genesis Chest X-ray를 사전 학습한다; 슬라이스 기반 작업을 위한 2D 버전(Genesis Chest CT 2D)을 생성한다.
• 사전 학습된 인코더 또는 인코더–디코더를 다운스트림 작업에 미세 조정하여 분할 및 분류 성능을 평가한다.
• 3D 및 2D 분류와 분할을 포괄하는 일곱 개의 대상 작업(NCC, NCS, ECC, LCS, BMS, DXC, IUC)을 평가한다.
• scratch에서의 학습, ImageNet 미세조정(2D 및 3D), 및 NiftyNet 기준선과 비교하고, 같은 도메인 전이와 교차 도메인 전이를 분석한다.

실험 결과

연구 질문

• RQ1 자연– 라벨이 없는 의학 영상에서의 자기지도 사전 학습이 다양한 3D 의학 영상 과제에 전이 가능한 표현을 제공할 수 있는가?
• RQ2 Genesis에서 3D 해부 정보를 활용하는 것이 ImageNet으로부터의 2D 전이보다 이점이 있는가?
• RQ3 의료 영상 표현에 대해 개별 프록시 작업보다 통합 다중 작업 자기지도 프레임워크가 이점을 제공하는가?
• RQ4 같은 도메인 및 교차 도메인 전이에서 Genesis를 사용할 때 질병, 기관 및 모달리티 간 차이가 있는가?

주요 결과

• Genesis 모델은 일곱 개의 대상 작업에서 일관되게 scratch 학습보다 성능이 우수하다.
• Genesis Chest CT(3D)는 동일한 작업에서 일반적으로 2D ImageNet-finetuned 모델보다 우수하여 3D 해부학의 가치를 강조한다.
• 권한 하향된 2D 버전(Genesis Chest CT 2D 및 Genesis X-ray)은 동일 모달리티 내에서 ImageNet 미세조정과 동등한 성능을 달성한다.
• 작업 전반에 걸쳐 같은 도메인 전이가 선호되며, 교차 도메인 전이는 가능성을 보이지만 일반적으로 같은 도메인 전이보다 성능이 약하다.
• 통합 자기지도 프레임워크는 다중 작업에서 강건한 개선을 제공하고 개별 프록시 스키마를 능가한다.
• 모든 사전 학습된 Models Genesis가 공개적으로 배포되어 오픈 사이언스를 지원한다.