[논문 리뷰] Weakly Supervised Estimation of Shadow Confidence Maps in Fetal Ultrasound Imaging

Qingjie Meng, Matthew Sinclair외 12명|arXiv (Cornell University)|2018. 11. 20.

Fetal and Pediatric Neurological Disorders참고 문헌 25인용 수 4

한 줄 요약

이 논문은 이미지 수준의 레이블과 소량의 굵은 픽셀 수준의 애너테이션만을 사용하여 2D 태반 초음파 영상에서 조밀하고 연속적인 그림자 신뢰도 맵을 추정하기 위한 약한 감독 기반 딥러닝 방법을 제안한다. 그림자 세그먼테이션 모듈, 전이 함수, 그리고 신뢰도 추정 네트워크를 활용함으로써, 인간 전문가보다 높은 정확도와 더 일관된 신뢰도 맵을 달성하여 초음파 기록사에게 실시간 가이던스를 제공하고, 영상 분류 및 생체 측정과 같은 후속 작업의 성능을 향상시킨다.

ABSTRACT

Detecting acoustic shadows in ultrasound images is important in many clinical and engineering applications. Real-time feedback of acoustic shadows can guide sonographers to a standardized diagnostic viewing plane with minimal artifacts and can provide additional information for other automatic image analysis algorithms. However, automatically detecting shadow regions using learning-based algorithms is challenging because pixel-wise ground truth annotation of acoustic shadows is subjective and time consuming. In this paper we propose a weakly supervised method for automatic confidence estimation of acoustic shadow regions. Our method is able to generate a dense shadow-focused confidence map. In our method, a shadow-seg module is built to learn general shadow features for shadow segmentation, based on global image-level annotations as well as a small number of coarse pixel-wise shadow annotations. A transfer function is introduced to extend the obtained binary shadow segmentation to a reference confidence map. Additionally, a confidence estimation network is proposed to learn the mapping between input images and the reference confidence maps. This network is able to predict shadow confidence maps directly from input images during inference. We use evaluation metrics such as DICE, inter-class correlation and etc. to verify the effectiveness of our method. Our method is more consistent than human annotation, and outperforms the state-of-the-art quantitatively in shadow segmentation and qualitatively in confidence estimation of shadow regions. We further demonstrate the applicability of our method by integrating shadow confidence maps into tasks such as ultrasound image classification, multi-view image fusion and automated biometric measurements.

연구 동기 및 목표

• 태반 초음파에서 음향 그림자 탐지에 대한 제한적이고 주관적인 픽셀 수준의 애너테이션 문제를 해결하기 위해.
• 이미지 수준의 레이블과 흩어진 굵은 애너테이션만을 사용하여 조밀하고 연속적인 그림자 영역의 신뢰도 맵을 생성하는 약한 감독 기반 방법을 개발하기 위해.
• 인간 간의 관찰자 간 변동성을 초월하여 그림자 탐지의 일관성과 정확도를 향상시키기 위해.
• 초음파 기록사가 스캔 평면을 최적화하고 잡음을 줄이기 위해 실시간 피드백을 제공하기 위해.
• 통합된 그림자 신뢰도 맵을 통해 영상 분류, 다중 시점 융합, 자동 생체 측정과 같은 후속 응용 분야의 성능을 향상시키기 위해.

제안 방법

• 이미지 수준의 레이블('그림자가 있음' 또는 '그림자 없음')이 있는 이미지에서 그림자 세그먼테이션 모듈을 훈련시켜 일반적인 그림자 특징을 학습한다.
• 전이 함수는 진짜 양성 영역의 평균 강도를 사용하여 이진 그림자 세그먼테이션 출력을 기준 신뢰도 맵으로 매핑한다 (식 1).
• 기준 맵을 지도로 사용하여 입력 영상에서 직접 연속적인 그림자 신뢰도 맵을 예측하는 신뢰도 추정 네트워크를 훈련시킨다.
• 태반 뇌에 특화된 그림자 특징를 위한 잠재 공간을 개선하기 위해 소량의 굵은 픽셀 수준의 애너테이션(이미지 수준의 레이블이 있는 이미지의 약 10%)을 활용한다.
• DICE, MSE, 그리고 소프트 DICE를 포함한 손실 함수를 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 강도 기반 스무딩과 ICC 및 소프트 DICE와 같은 평가 지표를 사용함으로써, 노이즈가 있거나 정확하지 않은 굵은 애너테이션에 대해 강건한 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블과 흩어진 굵은 애너테이션만을 사용하여 정확하고 일관된 그림자 신뢰도 맵을 생성할 수 있는가?
• RQ2 제안된 방법은 그림자 세그먼테이션 정확도와 신뢰도 맵의 일관성 측면에서 인간 간 관찰자 간 변동성과 비교해 어떻게 성능을 내는가?
• RQ3 추정된 그림자 신뢰도 맵은 영상 분류 및 생체 측정과 같은 후속 초음파 응용 분야의 성능을 향상시킬 수 있는가?
• RQ4 공간적 상관관계나 히우리스틱 하이퍼파rameter에 의존하지 않고도 여러 개의 분리된 그림자 영역을 탐지하는 데 일반화 가능한가?
• RQ5 초음파 기록사가 최적의 스캔 평면 선택을 안내하기 위해 실시간 피드백을 제공할 수 있는가?

주요 결과

• 제안된 방법은 정량적 그림자 세그먼테이션에서 최신 기술을 뛰어넘어, 기존 방법보다 더 높은 DICE 점수와 더 낮은 MSE 점수를 달성한다.
• 인간 애너테이션보다 더 높은 일관성을 보이며, 다양한 애너테이터 간 신뢰도를 나타내는 상관계수(ICC) 값이 뛰어난 안정성을 보여준다.
• 신뢰도 추정 네트워크는 특히 복잡한 그림자 패턴이 있는 영역에서 기존 방법보다 더 시각적으로 타당하고 연속적인 신뢰도 맵을 생성한다.
• 그림자 신뢰도 맵의 통합은 표준 스캔 평면 분류, 다중 시점 영상 융합, 자동 생체 측정에서의 성능 향상을 보이며, 실제 응용에서의 유용성을 입증한다.
• 이전 방법보다 훨씬 빠른 추론 시간을 달성하여 임상 가이던스를 위한 실시간 구현이 가능하다.
• 모델은 여러 개의 분리된 그림자 영역 탐지에 잘 일반화되며, 강도 기반 스무딩과 손실 함수 설계 덕분에 불완전한 굵은 애너테이션에 대해서도 강건함을 보인다.