[논문 리뷰] Universal Model for 3D Medical Image Analysis.

Xiaoman Zhang, Ya Zhang외 2명|arXiv (Cornell University)|2020. 10. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 5

한 줄 요약

이 논문은 다중 모odal, 다중 영역 표현을 비라벨 데이터에서 통합된 프레임워크를 통해 학습하는 자기지도 학습 3D 사전 훈련 모델인 Universal Model을 제안한다. 모달리티 불변 적대적 학습과 스케일 분류기로 인해 다양한 작업에서 우수한 일반화 성능을 달성하며, 다섯 가지 후행 작업에서 정확도, 강건성, 수렴 속도 면에서 기존 모델을 능가한다.

ABSTRACT

Deep Learning-based methods recently have achieved remarkable progress in medical image analysis, but heavily rely on massive amounts of labeled training data. Transfer learning from pre-trained models has been proposed as a standard pipeline on medical image analysis to address this bottleneck. Despite their success, the existing pre-trained models are mostly not tuned for multi-modal multi-task generalization in medical domains. Specifically, their training data are either from non-medical domain or in single modality, failing to attend to the problem of performance degradation with cross-modal transfer. Furthermore, there is no effort to explicitly extract multi-level features required by a variety of downstream tasks. To overcome these limitations, we propose Universal Model, a transferable and generalizable pre-trained model for 3D medical image analysis. A unified self-supervised learning scheme is leveraged to learn representations from multiple unlabeled source datasets with different modalities and distinctive scan regions. A modality invariant adversarial learning module is further introduced to improve the cross-modal generalization. To fit a wide range of tasks, a simple yet effective scale classifier is incorporated to capture multi-level visual representations. To validate the effectiveness of the Universal Model, we perform extensive experimental analysis on five target tasks, covering multiple imaging modalities, distinctive scan regions, and different analysis tasks. Compared with both public 3D pre-trained models and newly investigated 3D self-supervised learning methods, Universal Model demonstrates superior generalizability, manifested by its higher performance, stronger robustness and faster convergence. The pre-trained Universal Model is available at: \href{https://github.com/xm-cmic/Universal-Model}{this https URL}.

연구 동기 및 목표

• 기존 사전 훈련 모델이 일반적으로 비의료 데이터나 단일 모odal에서 훈련되기 때문에 다중 모달 전이에서 성능 저하가 발생하는 문제를 해결한다.
• 3D 의료 영상 분석에서 대규모 라벨 데이터가 필요한 문제를 해결하기 위해 자기지도 표현 학습을 통한 효과적인 전이 학습을 가능하게 한다.
• 다양한 영상 모달리티와 스캔 영역 간의 다수 수준의 시각적 특징을 명시적으로 캡처하여 다양한 후행 작업에 대한 일반화 성능을 향상시킨다.
• 모달리티 불변 표현 학습과 확장 가능한 특징 추출을 통합한 통합 프레임워크를 개발하여 의료 영상 분야에서 넓은 적용 가능성을 확보한다.
• 다양한 영상 모달리티, 스캔 영역, 분석 작업에서 모델의 효과성을 입증하여 강건성과 전이 가능성의 기반을 마련한다.

제안 방법

• 다양한 영상 모달리티(예: CT, MRI)와 해부학적 영역을 포함하는 다수의 비라벨 3D 의료 데이터셋을 통합된 자기지도 학습 기반으로 사전 훈련한다.
• 모달리티 불변 적대적 학습 모듈을 도입하여 도메인 이동을 최소화함으로써 모달리티 간 특징를 정렬하고, 다중 모달 일반화 성능을 향상시킨다.
• 스케일 분류기를 통합하여 다양한 공간 스케일에서의 특징 예측을 통해 다수 수준의 시각적 표현을 캡처함으로써 다양한 작업에 적합한 특징 풍부성을 향상시킨다.
• 원천 데이터셋에서 잘라낸 3D 패치와 증강된 데이터를 사용하여 대조 학습 목표를 기반으로 엔드 투 엔드로 모델을 훈련시켜 분류 가능한 전이 가능한 특징를 학습한다.
• 다른 모달리티에서 온 입력을 처리하기 위해 다중 브런치 아키텍처를 사용하면서도 공유 인코더를 통해 모달리티 불변 특징 학습을 위한 파라미터 공유를 구현한다.
• 최소한의 라벨 데이터로 표준 지도 학습을 사용하여 후행 작업에서 사전 훈련된 모델을 미세조정함으로써 빠른 수렴과 높은 성능 달성을 이룬다.

실험 결과

연구 질문

• RQ1 특정 작업에 맞게 재훈련이 필요 없이 단일 사전 훈련 3D 모델이 다양한 의료 영상 모달리티와 스캔 영역에서 효과적으로 일반화할 수 있는가?
• RQ2 모달리티 불변 적대적 학습은 3D 의료 영상 분석에서 다중 모달 전이 성능을 어떻게 향상시키는가?
• RQ3 스케일 분류기를 통한 다수 수준의 특징 추출은 다양한 의료 영상 작업에서 후행 작업 성능에 얼마나 기여하는가?
• RQ4 기존의 3D 자기지도 학습 및 사전 훈련 모델과 비교해 볼 때, 제안된 Universal Model은 일반화, 강건성, 수렴 속도 면에서 어떤가?
• RQ5 라벨 데이터가 부족한 상황에서도 모델이 최소한의 미세조정으로 강력한 성능을 달성할 수 있는가?

주요 결과

• Universal Model은 여러 영상 모달리티와 해부학적 영역에서 다양한 후행 작업(예: 세그멘테이션, 분류, 탐지)에서 최상의 성능을 기록하였다.
• 특히 다중 모달 전이 시나리오에서 기존 3D 사전 훈련 모델보다 도메인 이동과 모달리티 불일치에 더 강건한 성능을 보였다.
• 공개된 3D 사전 훈련 모델과 신규로 제안된 자기지도 학습 방법보다 후행 작업에서의 미세조정 과정에서 더 빠른 수렴 속도를 보이며 효율적인 전이 학습 능력을 입증하였다.
• 모달리티 불변 적대적 학습 구성 요소는 다중 모달 설정에서의 성능 저하를 크게 줄여 다양한 영상 대비 대비에서의 일반화 성능을 향상시켰다.
• 스케일 분류기는 계층적인 특징을 효과적으로 캡처하여 해부학적 구조의 다중 스케일 이해가 필요한 작업에서 성능 향상에 기여하였다.
• 모든 평가된 작업에서 기준 모델보다 높은 평균 Dice 스코어와 분류 정확도를 확보하여 모델의 뛰어난 일반화 능력과 전이 가능성의 타당성을 입증하였다.