[논문 리뷰] Real-Time Detection and Localisation of Fetal Standard Scan Planes in 2D Freehand Ultrasound.

Christian F. Baumgartner, Konstantinos Kamnitsas외 6명|arXiv (Cornell University)|2016. 12. 16.

Fetal and Pediatric Neurological Disorders인용 수 5

한 줄 요약

이 논문은 2D 자유형 초음파에서 13개의 태반 표준 스캔 영역을 실시간으로 자동으로 감지하고 국소화하기 위한 실시간, 약한 감독을 받는 컨volutional 신경망 방법을 제안한다. 대규모 임상 데이터셋에서 평균 F1 스코어 0.86과 77.8%의 경계 상자 국소화 정확도를 달성하여 초보자 및 숙련자 모두의 운영을 지원한다.

ABSTRACT

Identifying and interpreting fetal standard scan planes during 2D ultrasound mid-pregnancy examinations are highly complex tasks which require years of training. Apart from guiding the probe to the correct location, it can be equally difficult for a non-expert to identify relevant structures within the image. Automatic image processing can provide tools to help experienced as well as inexperienced operators with these tasks. In this paper, we propose a novel method based on convolutional neural networks which can automatically detect 13 fetal standard views in freehand 2D ultrasound data as well as provide a localisation of the fetal structures via a bounding box. An important contribution is that the network learns to localise the target anatomy using weak supervision only. The network architecture is designed to operate in real-time while providing optimal output for the localisation task. We present results for real-time annotation, retrospective frame retrieval from saved videos, and localisation on a very large and challenging dataset consisting of images and video recordings of full clinical anomaly screenings. The proposed method annotated video frames with an average F1-score of 0.86, and obtained a 90.09% accuracy for retrospective frame retrieval. Moreover, we achieved an accuracy of 77.8% on the localisation task.

연구 동기 및 목표

• 2D 자유형 초음파에서 태반 표준 스캔 영역을 식별하고 국소화하는 데 있어 광범위한 훈련이 필요하고 비전문가에게 어려운 과제를 해결하기 위해.
• 중기 임신 기형 스크리닝 동안 초보자 및 숙련자 모두를 지원할 수 있는 자동화된 방법을 개발하기 위해.
• 밀도 높은 인간 레이블이 필요 없이 약한 감독을 통해 실시간으로 태반 해부학적 구조를 감지하고 국소화할 수 있도록 하기 위해.
• 자유형 초음파 영상 및 동영상의 대규모 임상적으로 현실적인 데이터셋에서 성능을 평가하기 위해.
• 임상 워크플로우 통합을 위해 실시간 레이블링과 후행 프레임 검색 모두에서 높은 정확도를 달성하기 위해.

제안 방법

• 실시간으로 2D 초음파 프레임을 처리하면서 감지 및 국소화를 예측할 수 있도록 맞춤형 컨volutional 신경망 아키텍처를 설계하였다.
• 모델은 정밀한 경계 상자 레이블이 필요 없이 이미지 수준의 레이블(예: '이 프레임에는 4심실 영역이 포함되어 있음')로부터 학습하는 약한 감독을 사용한다.
• 모델은 분류(해당 표준 시야가 존재하는지)와 국소화(대상 해부학적 구조 주변의 경계 상자)를 모두 출력한다.
• 표준 하드웨어에서 실시간 성능를 확보하기 위해 추론 속도 최적화가 이루어진 아키텍처를 사용한다.
• 모든 정적 이미지와 동영상 시퀀스를 포함한 전체 임상 기형 스크리닝 기록의 대규모 데이터셋에서 모델을 훈련 및 평가하였다.
• 후행 프레임 검색은 저장된 동영상 시퀀스를 스캔하고 각 프레임에 모델을 적용하여 수행된다.

실험 결과

연구 질문

• RQ1 약한 감독을 받는 딥 러닝 모델이 자유형 2D 초음파에서 13개의 태반 표준 스캔 영역을 고정확도와 실시간 성능로 감지할 수 있는가?
• RQ2 정확한 경계 상자 레이블이 없이 이미지 수준의 레이블만을 사용할 때 모델의 태반 해부학적 구조 국소화 성능는 얼마나 되는가?
• RQ3 임상 초음파 데이터에서 실시간 레이블링과 후행 프레임 검색 간 성능는 어떠한가?
• RQ4 모델은 전체 기형 스크리닝에서 얻은 다양한 자유형 2D 초음파 기록의 대규모이고 도전적인 데이터셋으로 일반화할 수 있는가?
• RQ5 약한 감독 하에서 감지 정확도와 국소화 정밀도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 13개의 시야에 걸쳐 태반 표준 스캔 영역의 실시간 감지에서 평균 F1 스코어 0.86을 달성하였다.
• 모델은 후행 프레임 검색에서 90.09%의 정확도를 기록하여 저장된 동영상 데이터에서 뛰어난 성능을 보였다.
• 국소화 작업은 77.8%의 정확도를 달성하여 약한 감독에도 불구하고 효과적인 경계 상자 예측이 가능함을 시사한다.
• 네트워크는 실시간으로 작동하여 임상 워크플로우에 통합하기에 적합하다.
• 이 방법은 대규모이고 도전적인 임상 자유형 초음파 기록 데이터셋으로 잘 일반화된다.
• 약한 감독을 사용함으로써 레이블링 노력은 크게 감소했지만 높은 감지 성능를 유지할 수 있었다.