[논문 리뷰] Label-free segmentation from cardiac ultrasound using self-supervised learning

Danielle L. Ferreira, Lau, Connor외 2명|arXiv (Cornell University)|2022. 10. 10.

Cardiovascular Function and Risk Factors인용 수 6

한 줄 요약

이 논문은 임상 영역 지식과 93,000장의 에코카디오그래머에 대한 대비 학습을 활용하여 레이블이 없는 초음파 영상에서 심장 부위를 자가학습 기반으로 세분화하는 딥러닝 파이프라인을 제시한다. 높은 정확도(Dice 점수 0.89)와 전문가 측정치에 비견되는 임상적 성능을 달성하였으며, 생체계측치에서 r² 값이 0.56~0.84로 나타나 심장 MRI와도 강한 상관관계를 보이며, 수동 레이블 없이도 확장 가능한 성능을 입증하였다.

ABSTRACT

Segmentation and measurement of cardiac chambers is critical in cardiac ultrasound but is laborious and poorly reproducible. Neural networks can assist, but supervised approaches require the same laborious manual annotations. We built a pipeline for self-supervised (no manual labels) segmentation combining computer vision, clinical domain knowledge, and deep learning. We trained on 450 echocardiograms (93,000 images) and tested on 8,393 echocardiograms (4,476,266 images; mean 61 years, 51% female), using the resulting segmentations to calculate biometrics. We also tested against external images from an additional 10,030 patients with available manual tracings of the left ventricle. r2 between clinically measured and pipeline-predicted measurements were similar to reported inter-clinician variation and comparable to supervised learning across several different measurements (r2 0.56-0.84). Average accuracy for detecting abnormal chamber size and function was 0.85 (range 0.71-0.97) compared to clinical measurements. A subset of test echocardiograms (n=553) had corresponding cardiac MRIs, where MRI is the gold standard. Correlation between pipeline and MRI measurements was similar to that between clinical echocardiogram and MRI. Finally, the pipeline accurately segments the left ventricle with an average Dice score of 0.89 (95% CI [0.89]) in the external, manually labeled dataset. Our results demonstrate a manual-label free, clinically valid, and highly scalable method for segmentation from ultrasound, a noisy but globally important imaging modality.

연구 동기 및 목표

• 심장 초음파 세분화에서 수작업 레이블링의 고비용 노동을 제거하기 위해.
• 자기학습 기반 학습을 활용하여 확장 가능하고 임상적으로 타당한 좌심실 세분화 방법을 개발하기 위해.
• 파이프라인의 성능을 임상 측정치, 외부 수작업으로 추적된 데이터셋, 금표준인 심장 MRI와 비교하여 검증하기 위해.
• 수동 레이블링 비용을 피하면서도 지도 학습 기반 방법과 동등한 성능을 확보하기 위해.
• 저자원 환경에서 자동 심장 초음파 분석의 광범위한 배포를 가능하게 하기 위해.

제안 방법

• 93,000장의 레이블이 없는 에코카디오그래머 영상에서 자기학습 기반 대비 학습 프레임워크를 활용하여 U-Net 기반 세분화 네트워크를 사전 학습한다.
• 뷰별로 특화된 데이터 증강 기법과 공간 일관성 제약 조건을 적용하여 레이블이 없는 데이터에서 특징 학습을 향상시킨다.
• 대비 손실 함수를 통해 양성 쌍(예: 회전 또는 자르기된 변형 영상)은 유사한 임베딩을, 음성 쌍은 다른 임베딩을 생성하도록 네트워크를 유도한다.
• 외부 데이터셋에서 수작업으로 그려진 소량의 영상으로 사전 학습 모델을 미세조정하여 특정 해부학적 변형에 적응시킨다.
• 세분화 출력을 바탕으로 심장 생체계측치(예: 심장 기능 계수, 부위 치수)를 계산한다.
• 파이프라인 평가에는 Dice 점수, 임상 측정치와의 상관관계, 심장 MRI와의 일치도를 사용한다.

실험 결과

연구 질문

• RQ1 자기학습 기반 학습이 수작업 레이블 없이도 초음파 영상에서 정확한 심장 부위 세분화를 달성할 수 있는가?
• RQ2 자기학습 파이프라인의 성능가지 표준 임상 측정치에서 전문가 간 변동성과 비교해 볼 때 어떻게 되는가?
• RQ3 이 파이프라인의 세분화 정확도가 금표준인 심장 MRI 측정치와 어느 정도 일치하는가?
• RQ4 이 방법이 다양한 환자 집단과 영상 프로토콜에 대해 일반화 가능한가?
• RQ5 저자원 초음파 환경에서 도메인 특화 데이터 증강 기법이 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• 외부 수작업 레이블이 있는 데이터셋에서 평균 Dice 점수는 0.89(95% 신뢰구간 [0.89])를 기록하여 높은 세분화 정확도를 입증하였다.
• 파이프라인 예측치와 임상 측정치 간 상관계수의 결정계수(r²)는 0.56에서 0.84로 변동하며, 전문가 간 변동성과 유사한 수준을 보였다.
• 553명의 환자 중 MRI가 함께 기록된 하위 집단에서 파이프라인 측정치와 MRI 측정치 간 상관관계는 임상 에코카디오그래머와 MRI 간 상관관계와 유사하였다.
• 임상 기준에 비해 비정상적인 부위 크기 및 기능을 감지하는 데 평균 정확도는 0.85(범위 0.71~0.97)를 기록하였다.
• 다양한 데이터셋, 특히 수작업로 추적된 10,030장의 외부 에코카디오그래머 영상에서 강력한 일반화 성능을 보였다.
• 자기학습 기반 접근법을 통해 수작업 레이블링이 필요 없었고, 지도 학습 기반 기준과 동등한 성능를 유지하였다.