[논문 리뷰] 3D Self-Supervised Methods for Medical Imaging

Aiham Taleb, Winfried Loetzsch외 5명|arXiv (Cornell University)|2020. 06. 06.

Medical Image Segmentation Techniques참고 문헌 67인용 수 128

한 줄 요약

브레인 종양, 췌장 종양, 당뇨성 망막병증 과제에서 비라벨링된 3D 의학 영상으로 학습하기 위한 다섯 가지 3D 자기지도 프록시 태스크(3D-CPC, 3D-Rot, 3D-Jig, 3D-RPL, 3D-Exe)를 도입하여 데이터 효율성과 다운스트림 성능을 향상시키고, 오픈 소스 코드를 제공한다.

ABSTRACT

Self-supervised learning methods have witnessed a recent surge of interest after proving successful in multiple application fields. In this work, we leverage these techniques, and we propose 3D versions for five different self-supervised methods, in the form of proxy tasks. Our methods facilitate neural network feature learning from unlabeled 3D images, aiming to reduce the required cost for expert annotation. The developed algorithms are 3D Contrastive Predictive Coding, 3D Rotation prediction, 3D Jigsaw puzzles, Relative 3D patch location, and 3D Exemplar networks. Our experiments show that pretraining models with our 3D tasks yields more powerful semantic representations, and enables solving downstream tasks more accurately and efficiently, compared to training the models from scratch and to pretraining them on 2D slices. We demonstrate the effectiveness of our methods on three downstream tasks from the medical imaging domain: i) Brain Tumor Segmentation from 3D MRI, ii) Pancreas Tumor Segmentation from 3D CT, and iii) Diabetic Retinopathy Detection from 2D Fundus images. In each task, we assess the gains in data-efficiency, performance, and speed of convergence. Interestingly, we also find gains when transferring the learned representations, by our methods, from a large unlabeled 3D corpus to a small downstream-specific dataset. We achieve results competitive to state-of-the-art solutions at a fraction of the computational expense. We publish our implementations for the developed algorithms (both 3D and 2D versions) as an open-source library, in an effort to allow other researchers to apply and extend our methods on their datasets.

연구 동기 및 목표

• 3D 의학 영상에서 고가의 전문가 주석 의존도를 줄인다.
• 라벨이 없는 데이터에서 자기지도 프록시 태스크를 사용해 풍부한 3D 표현을 학습한다.
• 다운스트림 과제에서 분할 및 탐지와 같은 데이터 효율적인 파인튜닝을 가능하게 한다.
• 큰 비라벨링 코퍼스에서 학습된 3D 표현을 소규모 다운스트림 데이터에 전이하는 것을 Demonstrate 한다.

제안 방법

• 다섯 가지 3D 자기지도 태스크 제안: 3D Contrastive Predictive Coding (3D-CPC), 3D Rotation prediction (3D-Rot), 3D Jigsaw puzzles (3D-Jig), Relative 3D patch location (3D-RPL), and 3D Exemplar networks (3D-Exe).
• 3D-CPC는 인코더와 컨텍스트 네트워크를 사용해 InfoNCE 손실을 이용하여 역피라미드 3D 컨텍스트에서 미래 패치의 잠재 표현을 예측한다.
• 3D-RPL은 질의 패치를 3D 격자 내의 상대 위치를 분류하도록 학습하며, 단서를 피하기 위한 변동을 도입한다.
• 3D-Jig는 3D 패치 격자의 순서를 P-way 분류 태스크로 풀어낸다.
• 3D-Rot은 이산화된 3D 회전(10개 클래스)을 예측하여 의미론적 이해를 강제한다.
• 3D-Exe는 임베딩 공간에서 변환된 양성 샘플을 더 가깝게, 음성 샘플은 더 멀리 배치하기 위해 triplet loss를 사용한다.

실험 결과

연구 질문

• RQ1 3D 자기지도 프록시 태스크가 2D 또는 맨 처음 학습과 비교하여 라벨이 없는 3D 의학 영상에서 학습된 표현을 향상시키는가?
• RQ2 큰 비라벨링 코퍼스로부터의 전이를 통해 3D 표현이 다운스트림 과제와 더 작은 데이터셋으로 전달될 수 있는가?
• RQ3 3D 프록시 태스크가 데이터 효율성, 성능 향상 및 수렴 속도를 뇌종양 분할, 췌장 종양 분할, 당뇨성 망막병증 탐지에서 제공하는가?
• RQ4 현실적인 의학 영상 벤치마크에서 3D 방법이 2D 대안 및 감독기반 baselines와 비교하여 어떤 차이를 보이는가?

주요 결과

• 3D 자기지도 사전학습은 데이터 효율성을 크게 향상시키며, 특히 데이터 양이 적은 상황에서 scratch 및 2D-슬라이스 기반 baselines보다 우수하다.
• 과제 전반에 걸쳐 3D 방법은 BraTS 최첨단 baselines와 비교해 Dice 점수에서 경쟁력 있거나 우수하며, 종종 다운스트림 에포크가 더 적게 필요하다.
• 대규모 비라벨링 3D 코퍼스(예: UK Biobank)에서의 3D 표현이 더 작고 다운스트림 데이터에 효과적으로 전달된다.
• 3D 방법은 BraTS 뇌종양 분할 과제에서 2D 대안에 비해 전체 3D 맥락의 가치를 강조한다.
• 오픈 소스 구현은 3D 및 2D 변형 모두를 제공하여 채택과 확장을 촉진한다.