[논문 리뷰] Automatic Detection of Cardiac Chambers Using an Attention-based YOLOv4 Framework from Four-chamber View of Fetal Echocardiography

Sibo Qiao, Shanchen Pang외 6명|arXiv (Cornell University)|2020. 11. 26.

Fetal and Pediatric Neurological Disorders참고 문헌 33인용 수 6

한 줄 요약

이 논문은 다단계 잔차 하이브리드 주의 모듈(MRHAM)을 통합한 주의 기반 YOLOv4 프레임워크인 MRHAM-YOLOv4-Slim을 제안한다. 이는 4심장 뷰 태반 심장초음파에서 태아 심장의 네 가지 심장실(LV, LA, RV, RA)을 정확하게 검출하기 위해 설계되었으며, 노이즈가 많고 해상도가 낮은 초음파 영상에서 특징 구분 능력을 향상시켜 최신 기술 수준의 성능을 달성한다. mAP 95.3%와 43 FPS의 추론 속도를 기록한다.

ABSTRACT

Echocardiography is a powerful prenatal examination tool for early diagnosis of fetal congenital heart diseases (CHDs). The four-chamber (FC) view is a crucial and easily accessible ultrasound (US) image among echocardiography images. Automatic analysis of FC views contributes significantly to the early diagnosis of CHDs. The first step to automatically analyze fetal FC views is locating the fetal four crucial chambers of heart in a US image. However, it is a greatly challenging task due to several key factors, such as numerous speckles in US images, the fetal cardiac chambers with small size and unfixed positions, and category indistinction caused by the similarity of cardiac chambers. These factors hinder the process of capturing robust and discriminative features, hence destroying fetal cardiac anatomical chambers precise localization. Therefore, we first propose a multistage residual hybrid attention module (MRHAM) to improve the feature learning. Then, we present an improved YOLOv4 detection model, namely MRHAM-YOLOv4-Slim. Specially, the residual identity mapping is replaced with the MRHAM in the backbone of MRHAM-YOLOv4-Slim, accurately locating the four important chambers in fetal FC views. Extensive experiments demonstrate that our proposed method outperforms current state-of-the-art, including the precision of 0.919, the recall of 0.971, the F1 score of 0.944, the mAP of 0.953, and the frames per second (FPS) of 43.

연구 동기 및 목표

• 저품질이고 스펙클 노이즈가 많은 4심장 뷰 초음파 영상에서 태아 심장실의 정밀한 국소화 문제를 해결한다.
• 작은 객체 크기, 변동하는 위치, 심장실 간 높은 유사성으로 인한 어려움을 극복한다.
• 경량 YOLOv4 검출기 내에 공간적 및 채널 주의 메커니즘을 통합하여 특징 학습의 강건성을 향상시킨다.
• 실시간으로 정확한 검출 시스템을 개발하여 선천성 심장병(CHDs)의 조기 산전 진단을 지원한다.

제안 방법

• CSPDarknet53-Slim 기반구조의 잔차 식별 매핑을 대체하는 다단계 잔차 하이브리드 주의 모듈(MRHAM)을 제안하여 특징 표현 능력을 향상시킨다.
• MRHAM을 YOLOv4-Slim에 통합하여 MRHAM-YOLOv4-Slim 모델을 구성함으로써 배경 노이즈를 억제하면서도 관련 심장 구조에 대한 주의를 강화한다.
• 제한된 태아 심장초음파 데이터셋으로 인한 과적합을 방지하기 위해 경량 CSPDarknet53-Slim 기반구조를 사용한다.
• 공간적 및 채널 주의 메커니즘을 계단식으로 다단계 방식으로 적용하여 심장실의 분별성 있는 영역에 집중한다.
• 네 가지 심장실에 대한 바운딩 박스 애너테이션을 포함한 태아 4심장 뷰 초음파 영상에서 모델을 엔드 투 엔드로 훈련시킨다.
• 정확도와 추론 속도를 동시에 최적화하여 43 FPS에서 실시간 성능을 달성한다.

실험 결과

연구 질문

• RQ1 하이브리드 주의 메커니즘이 저해상도이자 스펙클 노이즈가 많은 태아 심장초음파 영상에서 심장실 검출을 위한 특징 구분 능력을 향상시킬 수 있는가?
• RQ2 제안된 MRHAM 모듈은 표준 잔차 블록과 다른 주의 모듈(CBAM 등)에 비해 태아 심장실 국소화 성능에서 어떻게 비교되는가?
• RQ3 MRHAM을 YOLOv4-Slim에 통합함으로써 mAP, 정밀도, 재현율, F1 점수 등 모든 평가 지표에서 최신 기술 수준의 방법에 비해 얼마나 향상되는가?
• RQ4 실시간 임상 적용을 위한 높은 정확도를 달성하면서도 높은 추론 속도(FPS)를 유지할 수 있는가?

주요 결과

• MRHAM-YOLOv4-Slim는 평균 평균 정확도(mAP@0.5) 95.3%를 기록하여 비교된 모든 최신 기술 수준의 방법들을 능가한다.
• 모델은 정밀도 91.9%, 재현율 97.1%, F1 점수 94.4%를 기록하여 높은 검출 신뢰도를 보여준다.
• 모델은 43 프레임 매초(FPS)로 실행되며, Faster R-CNN과 같은 이단계 검출기(8 FPS)보다 훨씬 빠르면서도 더 높은 정확도를 유지한다.
• MRHAM-YOLOv4-Slim는 모든 평가 지표에서 YOLOv4-Slim(mAP 75.2%), YOLOv4(mAP 82.7%), CBAM-YOLOv4-Slim(mAP 89.7%)를 모두 능가한다.
• 제거 실험을 통해 잔차 블록을 MRHAM으로 대체함으로써 노이즈가 많고 모호한 심장 영역에서 특징 학습이 향상됨을 확인하였다.
• 실제 임상 데이터에서 뛰어난 일반화 능력을 보이며, 다양한 태아 심장 뷰에서 뛰어난 국소화 정확도를 보여주는 시각적 결과를 제공한다.