[논문 리뷰] Self-supervised Learning from 100 Million Medical Images

Florin C. Ghesu, Bogdan Georgescu외 9명|arXiv (Cornell University)|2022. 01. 04.

Radiomics and Machine Learning in Medical Imaging인용 수 26

한 줄 요약

이 논문은 대조 학습과 온라인 특징 클러스터링을 이용한 자기 지도 학습 방법을 제시하여 1억 건이 넘는 의료 영상에서 사전 학습을 수행하고, 다운스트림 이상 징후 탐지 향상 및 수렴 속도 가속을 달성한다.

ABSTRACT

Building accurate and robust artificial intelligence systems for medical image assessment requires not only the research and design of advanced deep learning models but also the creation of large and curated sets of annotated training examples. Constructing such datasets, however, is often very costly -- due to the complex nature of annotation tasks and the high level of expertise required for the interpretation of medical images (e.g., expert radiologists). To counter this limitation, we propose a method for self-supervised learning of rich image features based on contrastive learning and online feature clustering. For this purpose we leverage large training datasets of over 100,000,000 medical images of various modalities, including radiography, computed tomography (CT), magnetic resonance (MR) imaging and ultrasonography. We propose to use these features to guide model training in supervised and hybrid self-supervised/supervised regime on various downstream tasks. We highlight a number of advantages of this strategy on challenging image assessment problems in radiography, CT and MR: 1) Significant increase in accuracy compared to the state-of-the-art (e.g., AUC boost of 3-7% for detection of abnormalities from chest radiography scans and hemorrhage detection on brain CT); 2) Acceleration of model convergence during training by up to 85% compared to using no pretraining (e.g., 83% when training a model for detection of brain metastases in MR scans); 3) Increase in robustness to various image augmentations, such as intensity variations, rotations or scaling reflective of data variation seen in the field.

연구 동기 및 목표

• 의료 영상에서 주석 비용을 해결하기 위해 대규모 다중 모달리티 데이터셋에서 자기 지도 특징 학습을 가능하게 한다.
• 전이 가능한 표현을 생성하기 위해 온라인 클러스터링과 함께 대조 학습 프레임워크를 개발한다.
• 흉부 방사선 촬영 이상 탐지, MRI의 뇌 전이 탐지, CT의 뇌출혈 탐지에서 접근법을 검증한다.
• 이미지 증강에 대한 강건성을 입증하고 감독 미세 조정 시 수렴 속도를 개선한다.]
• method?
• method
• research_questions
• key_findings
• table_headers
• table_rows

제안 방법

• 대조 학습과 온라인 특징 클러스터링을 바꿔치기된 예측 손실을 갖는 자기 지도 학습 방법을 제안한다.
• Feature를 클러스터에 할당하고 코드와 프로토타입 간의 유사도로 교차 엔트로피를 최적화하기 위해 K개의 학습 가능한 프로토타입 프로토타입 세트를 메모리/프로토타입으로 사용한다.
• 허구적인 해를 방지하기 위해 엔트로피적 등분할 제약과 Sinkhorn-Knopp 정규화를 이용한 단일 모달리티 및 다중 모달리티 클러스터링 전략을 도입한다.
• 하이브리드 사전학습/미세조정 목표에서 자기 지도 손실과 감독 손실을 균형 하이퍼파라미터로 결합한다.
• 다중 규모 크롭, 에너지 기반 강도 조정, 감마 및 선형 강도 변환, 임의 자르기 등 의료 영상 특화 증강을 설계한다.

실험 결과

연구 질문

• RQ1 100M+ 의료 영상에서의 대규모 자기 지도 사전학습이 감독 학습 사전학습 또는 비사전학습과 비교했을 때 다운스트림 진단 작업을 개선하는가?
• RQ2 다중 모달리티 사전학습이 방사선 촬영, CT, MRI, 초음파 전반에서 더 강건하고 전달 가능한 특징을 생성하는가?
• RQ3 제안된 클러스터링 기반 대조 사전학습이 의료 영상 작업에서 수렴 속도와 증강에 대한 강건성에 어떤 영향을 미치는가?

주요 결과

• 의료 영상에서 자기 지도 사전학습을 사용할 때 다양한 작업에서 AUC 측정치가 평균 6-8% 향상된다.
• 사전학습 없음에 비해 다운스트림 학습에서 최대 85% 더 빠르게 수렴하고, 감독 사전학습 대비 상당한 속도 향상을 보인다.
• 강도 변화, 회전, 스케일링 등의 이미지 증강에 대한 강건성이 자기 지도 사전학습 이후 증가한다.
• 흉부 방사선 이상 탐지, MRI의 뇌 전이 탐지, CT의 뇌출혈 탐지 모두 이 접근법의 이점을 얻었다.