[논문 리뷰] Advancing human-centric AI for robust X-ray analysis through holistic self-supervised learning

Théo Moutakanni, Piotr Bojanowski외 8명|arXiv (Cornell University)|2024. 05. 02.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

RayDINO는 873,000개의 흉부 X-ray 영상에서 다양한 글로벌 데이터셋을 바탕으로 자기지도 학습 DINOv2를 통해 훈련된 307M 파라미터 비전 트랜스포머입니다. 이 모델은 분류, 세분화, 보고서 생성, 일반화 등 21개 벤치마크에서 최신 기술 수준의 성능을 달성하며, 태스크별 특화 미세조정 없이도 인구 통계적 편향에 대한 강건성과 환자 중심의 통합적 분석 능력을 보입니다.

ABSTRACT

AI Foundation models are gaining traction in various applications, including medical fields like radiology. However, medical foundation models are often tested on limited tasks, leaving their generalisability and biases unexplored. We present RayDINO, a large visual encoder trained by self-supervision on 873k chest X-rays. We compare RayDINO to previous state-of-the-art models across nine radiology tasks, from classification and dense segmentation to text generation, and provide an in depth analysis of population, age and sex biases of our model. Our findings suggest that self-supervision allows patient-centric AI proving useful in clinical workflows and interpreting X-rays holistically. With RayDINO and small task-specific adapters, we reach state-of-the-art results and improve generalization to unseen populations while mitigating bias, illustrating the true promise of foundation models: versatility and robustness.

연구 동기 및 목표

• 좁은 태스크별 지도 학습을 넘어서 환자 중심의 통합적 해석을 가능하게 하는 흉부 X-ray 분석을 위한 기초 모델을 개발하는 것.
• 현재 영상의학 분야의 AI 모델이 가지는 한계, 즉 새로운 인구 집단에 대한 일반화 능력 부족과 연령, 성별, 민족에 관련된 편향 문제를 해결하는 것.
• 다양한 인구 집단과 영상 프로토콜을 포함한 실제 임상 환경에서 자기지도 학습 기반의 비전 기초 모델의 강건성과 공정성 평가.
• 단일 동결된 비전 인코더에 가벼운 태스크 전용 어댑터를 적용함으로써 전문화된 모델들을 초월하는 성능을 달성할 수 있음을 입증하는 것.
• 전문 영상의학자가 평가하고 철저한 벤치마크를 수행함으로써 모델의 임상적 유용성과 해석 가능성 검증.

제안 방법

• 미국과 유럽의 네 개의 공개 데이터셋에서 확보한 873,000개의 흉부 X-ray 영상에 대해 DINOv2 자기지도 학습 목표를 사용해 비전 트랜스포머(ViT) 인코더를 훈련.
• 대응되는 텍스트가 없고 인간의 레이블링이 전혀 필요 없는 대비 자기지도 학습을 통해 풍부하고 일반화 가능한 표현을 학습.
• 냉각된 RayDINO 인코더를 직접 사용하여 분류, 세분화, 보고서 생성 등 아홉 가지 후행 태스크에 적용하며, 오직 작고 학습 가능한 어댑터만 사용.
• 다양한 국가와 대륙에서 온 11개의 외부 데이터셋을 평가하여 제로샷 일반화 능력과 인구 통계적 강건성 평가.
• 희귀 질환과 소수 인구 집단을 포함한 다양한 벤치마크에서 AUROC, mDice, 피어슨 상관계수, AUPRC와 같은 표준화된 지표 사용.
• 연령, 성별, 인구 통계적 특성에 따른 편향 분석을 통해 공정성과 모델의 일반화 능력 평가.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 X-ray 데이터셋에서 훈련된 자기지도 학습 기반의 비전 기초 모델이 태스크별 특화 미세조정 없이도 여러 영상의학 태스크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 RayDINO는 다른 국가와 영상 프로토콜을 가진 외부 데이터셋에서 제로샷 일반화 성능이 어떻게 나타나는가?
• RQ3 자기지도 사전 훈련이 감독 기반 모델 대비 연령, 성별, 민족에 따른 인구 통계적 편향을 얼마나 줄이는가?
• RQ4 단일 동결 인코더에 가벼운 어댑터를 적용함으로써 다양한 임상 태스크를 지원하는 통합적이고 환자 중심의 표현을 제공할 수 있는가?
• RQ5 전문 영상의학자가 평가했을 때 RayDINO의 해석 가능성과 임상적 관련성은 어떻게 평가되는가?

주요 결과

• RayDINO는 분류, 세분화, 보고서 생성, 그리고 새로운 인구 집단에 대한 일반화 등 아홉 가지 영상의학 태스크에서 21개의 벤치마크에서 최신 기술 수준의 성능 달성.
• AUROC(분류), mDice(세분화), AUPRC(희귀 질환 클래스)에서 이전 최고 성능 모델을 뛰어넘으며, 일부 벤치마크에서 최대 10% 향상.
• 새로운 인구 집단과 외부 데이터셋에 대한 일반화 능력이 뛰어나, 이전 모델 대비 BRAX 및 PAXRay 벤치마크에서 더 높은 AUROC 기록.
• 연령 및 성별 하위군에서 편향이 감소하여 소수 인구 집단에서도 보다 일관된 성능 기록, 감독 기반 모델 대비 개선됨.
• 전문 영상의학자가 RayDINO의 표현 해석 가능성 검토하여 임상적 관련성과 X-ray 소견에 대한 통합적 이해 확인.
• 냉각된 인코더를 사용함에도 불구하고 최소한의 태스크 전용 적응만으로도 경쟁력 있는 성능 기록, 자기지도 사전 훈련이 의료 영상 분야에서의 유연성과 강건성 강화함을 입증.