[논문 리뷰] Towards Foundation Models Learned from Anatomy in Medical Imaging via Self-Supervision

Mohammad Reza Hosseinzadeh Taher, Michael B. Gotway외 1명|arXiv (Cornell University)|2023. 09. 27.

AI in cancer detectionComputer Science인용 수 3

한 줄 요약

이 논문은 의료 영상 분야의 자기지도 학습 기반 모델인 Adam을 제안하며, 군집에서 세분화되는 계층적 대비 학습 전략을 통해 해부학적 계층을 학습한다. 국소성과 구성성을 고밀도 임bedding(Eve)에 통합함으로써, 기존의 SSL 방법보다 9–30% 정확도 향상을 이룩하며 애너테이션 효율성을 향상시킨다.

ABSTRACT

Human anatomy is the foundation of medical imaging and boasts one striking characteristic: its hierarchy in nature, exhibiting two intrinsic properties: (1) locality: each anatomical structure is morphologically distinct from the others; and (2) compositionality: each anatomical structure is an integrated part of a larger whole. We envision a foundation model for medical imaging that is consciously and purposefully developed upon this foundation to gain the capability of "understanding" human anatomy and to possess the fundamental properties of medical imaging. As our first step in realizing this vision towards foundation models in medical imaging, we devise a novel self-supervised learning (SSL) strategy that exploits the hierarchical nature of human anatomy. Our extensive experiments demonstrate that the SSL pretrained model, derived from our training strategy, not only outperforms state-of-the-art (SOTA) fully/self-supervised baselines but also enhances annotation efficiency, offering potential few-shot segmentation capabilities with performance improvements ranging from 9% to 30% for segmentation tasks compared to SSL baselines. This performance is attributed to the significance of anatomy comprehension via our learning strategy, which encapsulates the intrinsic attributes of anatomical structures-locality and compositionality-within the embedding space, yet overlooked in existing SSL methods. All code and pretrained models are available at https://github.com/JLiangLab/Eden.

연구 동기 및 목표

• 의료 영상 분야의 기초 모델을 개발하여, 일반적인 자기지도 학습이 아닌 해부학적 계층의 본질적 특성인 국소성과 구성성을 명시적으로 학습하고자 한다.
• 현재의 자기지도 학습 방법이 인간 해부학의 구조적 및 의미적 기초를 포착하지 못하는 격차를 메우고자 한다.
• 의미 있는 해부학적 임bedding을 생성하는 모델을 통해 소수의 샘플 분할 성능 및 애너테이션 효율성을 향상시키고자 한다.
• 임bed딩 공간에서의 국소성과 구성성을 측정하는 새로운 평가 지표를 통해 모델의 해부학적 이해도를 검증하고자 한다.

제안 방법

• 예비 학습 기간 동안 해부학적 구조를 군집에서 세분화하는 방식으로 점진적으로 계층적 대비 학습 프레임워크를 구현한다.
• 의료 영상에서 다중 척도의 패치를 생성하기 위해 해부학 분해기(Anatomy Decomposer)를 사용하여 군집에서 세분화되는 해부학적 부분을 학습한다.
• 대비 메모리 백에서 잡음이 많은 음성 쌍을 걸러내는 목적 지향적 프루닝기(Purposeful Pruner)를 도입하여 특징의 구분 능력을 향상시킨다.
• 동일한 해부학적 구조가 환자 간 및 스케일 간에 거의 동일한 임bedding를 가지도록 하는 대비 목적 함수를 사용한다.
• 이 모델인 Adam은 국소성과 구성성을 유지하는 고밀도의 의미 풍부한 임bedding(Eve)을 생성한다.
• 이 프레임워크는 9개의 후행 작업에서 평가되었으며, 펄스 촬영 영상에 적응하여 다양한 모odalities 간의 일반화 능력을 입증했다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 재설계하여 의료 영상에서 인간 해부학의 계층적 성질을 명시적으로 학습할 수 있는가?
• RQ2 학습된 임bedding에 해부학적 국소성과 구성성을 통합하면 의료 영상 분할 작업의 성능 향상에 기여하는가?
• RQ3 명시적인 해부학 감독 없이도 자기지도 모델이 완전히 지도된 모델 수준의 소수의 샘플 분할 성능을 달성할 수 있는가?
• RQ4 군집에서 세분화되는 학습 전략이 모델이 해부학적 구조 표현을 포착하는 데 어떤 영향을 미치는가?
• RQ5 제안된 방법은 흉부 X-레이 및 망막 펄스 촬영 영상 등 다양한 의료 영상 모달리티 간에 일반화 가능한가?

주요 결과

• Adam은 소수의 샘플 분할 성능에서 최신의 자기지도 및 완전 지도 기반 베이스라인을 모두 초월하였으며, 여러 데이터셋에서 9%에서 30%까지 성능 향상을 기록했다.
• Adam의 임bed딩 공간은 강력한 국소성을 보였으며, t-SNE 시각화에서 서로 다른 해부학적 구조들이 잘 분리된 클러스터를 형성한 반면, 기존의 베이스라인 모델은 그렇지 못했다.
• Adam의 임bed딩은 구성성을 잘 유지하였으며, 전체 해부학적 패치와 그 하위 패치들의 집합 간 평균 코사인 유사도가 거의 1에 가까웠다. 이는 기존의 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 절단 실험을 통해 군집에서 세분화되는 학습 전략에서 데이터의 세분화 수준을 높일수록 후행 작업 성능이 지속적으로 향상됨을 확인하였으며, 이는 계층적 접근의 타당성을 입증했다.
• 목적 지향적 프루닝기가 노이즈가 많은 대비 쌍을 줄여 성능 향상을 이룩함으로써, 특징의 구분 능력을 향상시키는 데 기여함을 확인하였다.
• 이 방법은 펄스 촬영 영상으로도 일반화되었으며, EyePACS 데이터셋에서 혈관 분할 성능이 최고의 SSL 기반 베이스라인보다 1.4% 향상되었고, p < 0.05의 유의미한 차이를 보였다.