[논문 리뷰] Self-supervised Learning of Pixel-wise Anatomical Embeddings in Radiological Images.

Ke Yan, Jinzheng Cai외 8명|arXiv (Cornell University)|2020. 12. 04.

Medical Imaging and Analysis참고 문헌 52인용 수 14

한 줄 요약

이 논문은 레이저 영상에서 레이블이 없는 이미지로부터 픽셀 수준의 해부학적 임베딩을 생성하는 대비 학습 프레임워크인 Self-supervised Anatomical eMbedding(SAM)을 제안한다. 이는 다양한 스캔 간 신체 부위의 빠르고 정확한 국소화를 가능하게 한다. SAM은 최소한의 레이블을 사용하여도 최신 기술 수준의 성능을 달성하며, 레이어징 방법보다 200배 빠르고, 50개의 레이블이 있는 지도 학습 모델을 능가한다.

ABSTRACT

Radiological images such as computed tomography (CT) and X-rays render anatomy with intrinsic structures. Being able to reliably locate the same anatomical or semantic structure across varying images is a fundamental task in medical image analysis. In principle it is possible to use landmark detection or semantic segmentation for this task, but to work well these require large numbers of labeled data for each anatomical structure and sub-structure of interest. A more universal approach would discover the intrinsic structure from unlabeled images. We introduce such an approach, called Self-supervised Anatomical eMbedding (SAM). SAM generates semantic embeddings for each image pixel that describes its anatomical location or body part. To produce such embeddings, we propose a pixel-level contrastive learning framework. A coarse-to-fine strategy ensures both global and local anatomical information are encoded. Negative sample selection strategies are designed to enhance the discriminability among different body parts. Using SAM, one can label any point of interest on a template image, and then locate the same body part in other images by simple nearest neighbor searching. We demonstrate the effectiveness of SAM in multiple tasks with 2D and 3D image modalities. On a chest CT dataset with 19 landmarks, SAM outperforms widely-used registration algorithms while being 200 times faster. On two X-ray datasets, SAM, with only one labeled template image, outperforms supervised methods trained on 50 labeled images. We also apply SAM on whole-body follow-up lesion matching in CT and obtain an accuracy of 91%.

연구 동기 및 목표

• 대규모 애너테이션 데이터셋에 의존하지 않고 의료 영상에서 해부학적 국소화 문제를 해결하기 위해.
• 자기지도 표현 학습을 활용해 레이블이 없는 방사선 영상에서 내재된 해부학적 구조를 탐색하기 위해.
• 단 한 장의 레이블이 있는 템플릿 이미지만을 사용하여도 빠르고 정확한 스캔 간 해부학적 대응을 가능하게 하는 방법을 개발하기 위해.
• 의료 영상 분석 과제, 예를 들어 국소화 및 병변 추적의 효율성과 정확도를 향상시키기 위해.
• 2D 및 3D 모odalities에 걸쳐 일반화 능력을 입증하기 위해, 예를 들어 체스트 CT 및 X-ray 스캔을 포함한다.

제안 방법

• SAM은 픽셀 수준에서 전반적인 해부학적 맥락과 국소적 맥락을 모두 인코딩하기 위해 코arse-to-fine 특징 학습 전략을 활용한다.
• 양성 및 음성 픽셀 쌍을 대비하여 분류 가능한 임베딩을 학습하기 위해 픽셀 수준의 대비 학습 목표를 사용한다.
• 다양한 해부학적 구조 간의 구분 능력을 향상시키기 위해 특별히 설계된 음성 샘플링 전략을 적용한다.
• 이미지 패치를 비교하고 불변 표현을 학습하기 위해 실리아스 유사 네트워크 아키텍처를 활용한다.
• 레이블이 없는 데이터에서 사전 훈련을 마친 후, 임베딩를 이용해 템플릿 이미지의 레이블을 새로운 스캔에 전이하기 위해 최근접 이웃 검색을 수행한다.
• 프레임워크는 레이블이 없는 방사선 영상에서 끝에서 끝까지 훈련되며, 사전 훈련 단계에서 수동 애너테이션의 필요가 없다.

실험 결과

연구 질문

• RQ1 인간이 애너테이션한 데이터가 전혀 없이 자기지도 대비 학습이 픽셀 수준의 해부학적 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 전통적인 이미지 레이어징 방법과 비교할 때 SAM은 해부학적 국소화의 정확도와 추론 속도 측면에서 어떻게 성능을 내는가?
• RQ3 SAM은 훨씬 적은 수의 레이블 예시로도 지도 학습 모델과 유사한 성능을 달성할 수 있는가?
• RQ4 SAM은 2D X-ray와 3D CT와 같은 다양한 영상 모달리티 간에 얼마나 잘 일반화되는가?
• RQ5 SAM은 추적 스캔에서 전신 병변 매칭과 같은 복잡한 과제에 효과적으로 적용될 수 있는가?

주요 결과

• 19개의 국소화 지점이 포함된 흉부 CT 데이터셋에서 SAM은 널리 사용되는 레이어징 알고리즘을 능가했으며, 추론 속도는 200배 빠르게 기록했다.
• 두 개의 X-ray 데이터셋에서 SAM은 단 한 장의 레이블이 있는 템플릿 이미지만으로도 50개의 레이블이 있는 지도 학습 모델을 뛰어넘는 성능을 달성했다.
• SAM은 추적 CT 스캔에서 전신 병변 매칭 작업에서 91%의 정확도를 기록하여 복잡한 임상 과제에 대한 강력한 일반화 능력을 입증했다.
• 코어스-투-파인 전략은 학습된 임베딩에서 전반적인 해부학적 맥락과 세밀한 구조적 세부 정보를 효과적으로 포착했다.
• 음성 샘플링 전략은 다양한 해부학적 영역 간의 임베딩의 분류 능력을 크게 향상시켰다.
• 이 방법은 2D 및 3D 영상 모달리티 전반에서 뛰어난 성능을 보이며, 강력한 모달리티 간 일반화 능력을 나타냈다.