[논문 리뷰] Robust and Efficient Medical Imaging with Self-Supervision

Shekoofeh Azizi, Laura Culp외 32명|arXiv (Cornell University)|2022. 05. 19.

Radiomics and Machine Learning in Medical Imaging인용 수 31

한 줄 요약

REMEDIS는 대규모 감독 전이 학습과 자기지도 학습을 결합한 통합 표현 학습 전략으로, 의료 영상 AI에서 강건성과 데이터 효율성을 향상시키며 분포 내 성능 상승과 데이터 효율적 일반화를 달성합니다.

ABSTRACT

Recent progress in Medical Artificial Intelligence (AI) has delivered systems that can reach clinical expert level performance. However, such systems tend to demonstrate sub-optimal "out-of-distribution" performance when evaluated in clinical settings different from the training environment. A common mitigation strategy is to develop separate systems for each clinical setting using site-specific data [1]. However, this quickly becomes impractical as medical data is time-consuming to acquire and expensive to annotate [2]. Thus, the problem of "data-efficient generalization" presents an ongoing difficulty for Medical AI development. Although progress in representation learning shows promise, their benefits have not been rigorously studied, specifically for out-of-distribution settings. To meet these challenges, we present REMEDIS, a unified representation learning strategy to improve robustness and data-efficiency of medical imaging AI. REMEDIS uses a generic combination of large-scale supervised transfer learning with self-supervised learning and requires little task-specific customization. We study a diverse range of medical imaging tasks and simulate three realistic application scenarios using retrospective data. REMEDIS exhibits significantly improved in-distribution performance with up to 11.5% relative improvement in diagnostic accuracy over a strong supervised baseline. More importantly, our strategy leads to strong data-efficient generalization of medical imaging AI, matching strong supervised baselines using between 1% to 33% of retraining data across tasks. These results suggest that REMEDIS can significantly accelerate the life-cycle of medical imaging AI development thereby presenting an important step forward for medical imaging AI to deliver broad impact.

연구 동기 및 목표

• 다양한 임상 환경에 걸쳐 의료 영상 AI에서 데이터 효율적 일반화의 필요성을 동기 부여한다.
• 강건성과 데이터 효율성을 향상시키기 위한 통합 표현 학습 프레임워크로 REMEDIS를 제안한다.
• 다양한 의료 영상 작업과 현실적인 회고적 시나리오에서 REMEDIS를 평가한다.
• 분포 내 성능과 소수-shot 데이터 시나리오에서 감독 학습 기준선 대비 개선을 정량화한다.

제안 방법

• 대규모 감독 전이 학습과 자기지도 학습을 하나의 통합 프레임워크로 결합한다.
• 광범위한 작업 특유의 라벨 없이도 표현을 학습하기 위해 자기지도 목표를 활용한다.
• REMEDIS가 강건성을 향상시키면서 최소한의 작업 특화 맞춤화를 필요로 한다는 것을 보여준다.
• 여러 의료 영상 작업에 걸쳐 평가하고 회고적 데이터를 사용한 세 가지 현실적인 적용 시나리오를 시뮬레이션한다.
• 향상된 진단 정확도와 데이터 효율적 일반화를 모두 시연한다.

실험 결과

연구 질문

• RQ1 통합 표현 학습 전략이 의료 영상에서 분포 변화에 대한 강건성을 향상시킬 수 있는가?
• RQ2 감독 학습 전이 학습과 자기지도 학습의 결합이 의료 영상 작업의 데이터 효율성에 어떤 영향을 미치는가?
• RQ3 제한된 재학습 데이터로 REMEDIS가 강한 감독 기준선에 얼마나 근접할 수 있는가?
• RQ4 현실적인 시나리오에서 REMEDIS가 다양한 의료 영상 모달리티 및 작업에 일반화되는가?

주요 결과

• REMEDIS는 분포 내에서 강한 감독 기준선에 비해 진단 정확도에서 최대 11.5% 상대 향상을 달성한다.
• 본 접근은 데이터 효율적 일반화를 강하게 달성하며, 작업 전반에서 재학습 데이터의 1%에서 33%만으로도 강한 감독 기준선에 근접한다.
• REMEDIS는 다양한 의료 영상 작업과 시뮬레이션된 임상 환경에서 강건성과 효율성을 보여준다.
• 이 프레임워크는 작업별 맞춤화가 거의 필요하지 않아 의료 영상 인공지능 파이프라인의 더 넓고 빠른 배치를 가능하게 한다.