[논문 리뷰] A Review of Predictive and Contrastive Self-supervised Learning for Medical Images

Wei-Chien Wang, Euijoon Ahn외 2명|arXiv (Cornell University)|2023. 02. 10.

AI in cancer detection참고 문헌 220인용 수 4

한 줄 요약

이 논문은 의료 영상 분석을 위한 예측형 및 대비형 자기지도 학습(SSL) 방법을 검토하며, 대비형 SSL이 자연 영상에서 의료 영상으로 어떻게 적응하는지에 중점을 둡니다. 최신 알고리즘을 평가하고, 제한된 레이블이 있는 경우 지도 학습보다 성능 향상을 보이며, 임상 적용에 있어 핵심 과제와 향후 방향성을 규명합니다.

ABSTRACT

Over the last decade, supervised deep learning on manually annotated big data has been progressing significantly on computer vision tasks. But the application of deep learning in medical image analysis was limited by the scarcity of high-quality annotated medical imaging data. An emerging solution is self-supervised learning (SSL), among which contrastive SSL is the most successful approach to rivalling or outperforming supervised learning. This review investigates several state-of-the-art contrastive SSL algorithms originally on natural images as well as their adaptations for medical images, and concludes by discussing recent advances, current limitations, and future directions in applying contrastive SSL in the medical domain.

연구 동기 및 목표

• 자연 영상에서 의료 영상 도메인으로 대비형 자기지도 학습(SSL) 방법의 적응을 분석하기 위해.
• 제한된 레이블 데이터를 사용한 의료 영상 작업에서 최신 대비형 SSL 모델의 성능을 평가하기 위해.
• 실제 의료 영상 환경에서 SSL을 적용할 때 발생하는 주요 제약 조건과 과제를 규명하기 위해.
• 영상의학 및 병리학 분야에서 일반화 능력, 내구성, 임상 적용 가능성 향상을 위한 향후 연구 방향을 탐색하기 위해.
• 표현 품질과 후행 작업 성능 측면에서 예측형과 대비형 SSL 접근 방식을 비교하기 위해.

제안 방법

• 자연 영상에 대해 개발된 최근 대비형 SSL 프레임워크인 SimCLR, MoCo, BYOL, BYOL-2를 체계적으로 조사합니다.
• 解剖학적 및 모odal 특성에 맞게 데이터 증강 전략을 수정함으로써 이러한 대비형 SSL 방법을 의료 영상에 적응시킵니다.
• 쌍이 없는 또는 약한 레이블이 부여된 의료 스캔에서 인스턴스 구분 및 대비 손실 함수를 적용하여 불변 표현을 학습합니다.
• 공개된 의료 데이터셋을 사용하여 분류, 세분화, 탐지 등의 후행 작업을 통해 학습된 표현을 평가합니다.
• 특정 도메인에 맞는 수정 사항으로 다중 대비 증강 및 공간 일관성 정규화를 도입하여 표현 품질을 향상시킵니다.
• 다양한 영상 모odal리티(예: MRI, CT, X-ray)에서 지도 학습 전훈 및 다른 자기지도 학습 기준과의 성능 비교를 수행합니다.

실험 결과

연구 질문

• RQ1 제한된 레이블이 있는 경우, 대비형 SSL 방법은 지도 학습 전훈 대비 의료 영상 벤치마크에서 어떻게 성능을 내는가?
• RQ2 자연 영상에서 학습된 대비형 SSL 모델을 의료 영상 도메인에 적응시키기 위해 어떤 수정이 필요한가?
• RQ3 다양한 데이터 증강 전략은 의료 영상에서 자기지도 표현의 품질에 어떤 영향을 미치는가?
• RQ4 도메인 이동 및 모달리티 변동성과 같은 임상 환경에서 현재 대비형 SSL 접근 방식의 주요 제약 조건은 무엇인가?
• RQ5 자기지도 학습의 내구성과 임상 적용 가능성을 향상시키기 위한 향후 방향성은 무엇인가?

주요 결과

• 제한된 레이블이 있는 경우, 대비형 SSL 방법은 의료 영상 벤치마크에서 지도 학습 전훈과 비교해 유사하거나 이를 초월하는 성능을 달성합니다.
• 모달리티 인식 데이터 증강 및 공간 일관성 정규화와 같은 적응 조치는 표준 대비형 방법에 비해 의료 영상에서 표현 학습을 향상시킵니다.
• 대규모 비라벨 의료 데이터로 사전 훈련된 자기지도 모델은 종양 탐지 및 장기 세분화와 같은 후행 작업으로 잘 일반화됩니다.
• 비라벨 데이터의 규모가 증가할수록 지도 학습과 자기지도 학습 간의 성능 격차가 크게 줄어듭니다.
• 강력한 결과에도 불구하고, 현재 대비형 SSL 방법은 스캐너, 프rotocol, 환자 집단 간 도메인 이동 문제를 여전히 해결하지 못하고 있습니다.
• 예측형 SSL 방법은 전망이 있긴 하지만, 대부분의 평가된 의료 영상 작업에서 대비형 접근 방식에 뒤지며 성능이 열 劣합니다.