[논문 리뷰] View Classification and Object Detection in Cardiac Ultrasound to Localize Valves via Deep Learning

Derya Gol Gungor, Bimba Rao외 2명|arXiv (Cornell University)|2023. 10. 31.

Cardiac Valve Diseases and Treatments인용 수 5

한 줄 요약

이 논문은 심장 초음파 영상에서 심장판막을 정확하게 국소화하는 데에 깊이 학습 기반 객체 검출 기반 파이프라인을 제안한다. 특히 심검사 4장면에서 미트랄판막, 대동맥판막, 삼첨판막의 국소화 정확도가 높으며, 2차원 심장 초음파 영상에서 최신 객체 검출 네트워크를 적용하여 판막을 국소화하고 분류하는 데 있어 최초의 연구이다. Apical 4-chamber 영상에서 mAP 점수는 최대 0.343 (IoU: 0.50:0.95)에 도달한다.

ABSTRACT

Echocardiography provides an important tool for clinicians to observe the function of the heart in real time, at low cost, and without harmful radiation. Automated localization and classification of heart valves enables automatic extraction of quantities associated with heart mechanical function and related blood flow measurements. We propose a machine learning pipeline that uses deep neural networks for separate classification and localization steps. As the first step in the pipeline, we apply view classification to echocardiograms with ten unique anatomic views of the heart. In the second step, we apply deep learning-based object detection to both localize and identify the valves. Image segmentation based object detection in echocardiography has been shown in many earlier studies but, to the best of our knowledge, this is the first study that predicts the bounding boxes around the valves along with classification from 2D ultrasound images with the help of deep neural networks. Our object detection experiments applied to the Apical views suggest that it is possible to localize and identify multiple valves precisely.

연구 동기 및 목표

• 딥러닝을 활용한 자동화된 파이프라인을 개발하여 2D 심장 초음파 영상에서 심장판막의 국소화 및 분류를 수행한다.
• 미트랄, 대동맥, 삼첨판막의 자동 검출을 통해 정량적 혈역학 평가를 가능하게 하여 임상 워크플로우를 향상시킨다.
• 이전의 세분화 기반 접근법의 한계를 극복하기 위해 객체 검출을 활용하여 판막 주변 정확한 바운딩 박스를 예측한다.
• 실시간 판막 국소화 및 시각화를 통해 경험이 적은 초음파 전문의의 교육 및 지도를 지원한다.
• 다양한 심검사 4장면에 걸쳐 맥락 인식 기반의 판막 검출을 가능하게 하기 위해 영상 분류 기능을 확장한다.

제안 방법

• 두 단계로 구성된 딥러닝 파이프라인을 제안한다: 첫 번째 단계는 사전 학습된 CNN을 사용하여 해부학적 영상 종류(예: Apical 2, 3, 4-chamber)를 식별하는 영상 분류이다.
• 두 번째 단계에서는 영상 분류 결과에 기반해 Faster R-CNN 기반의 영역 기반 객체 검출 네트워크를 적용하여 각 영상 내에서 판막을 국소화하고 분류한다.
• 객체 검출 모델은 앵커 박스와 영역 제안을 사용하여 클래스별 신뢰도 점수를 포함한 바운딩 박스를 예측한다.
• 데이터 증강에는 부분적인 판막의 모습을 시뮬레이션하기 위한 컷-앤퍼드 연산이 포함되어 있으며, 영상 변동성에 대한 내성 향상에 기여한다.
• 모델 훈련은 분류에 대해 교차 엔트로피 손실, 바운딩 박스 회귀에 대해 스무스 L1 손실을 사용한다.
• 평가에는 다양한 IoU 임계값(0.50:0.95, 0.50, 0.75)에서 평균 평균 정밀도(mAP)와 평균 평균 재현율(mAR)을 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 객체 검출이 심검사 2차원 초음파 영상에서 미트랄, 대동맥, 삼첨판막을 정확하게 국소화하고 분류할 수 있는가?
• RQ2 다양한 심검사 영상에서 객체 검출의 성능은 mAP 및 검출 신뢰도 측면에서 어떻게 달라지는가?
• RQ3 영상 아티팩트, 노이즈, 부분적인 판막 노출이 검출 정확도에 얼마나 큰 영향을 미치는가?
• RQ4 속도, 정밀도, 영상 변동성에 대한 내성 측면에서 기존의 세분화 기반 방법보다 성능이 뛰어난가?
• RQ5 영상 분류와 객체 검출을 하나의 종단 간 전처리 파이프라인으로 통합하는 것이 실현 가능한가?

주요 결과

• Apical 4-chamber 영상에서 가장 높은 mAP 0.343 (IoU: 0.50:0.95)를 기록하였으며, 이는 훈련 데이터의 양이 많고 판막 크기가 크기 때문으로 기인된다.
• Apical 2-chamber 영상의 mAP는 가장 낮은 0.151였지만, 미트랄 판막은 가장 크기 때문에, 이는 지도 레이블의 높은 변동성 때문일 가능성이 크다.
• Apical 3-chamber 영상에서는 mAP 0.170 (IoU: 0.50:0.95)를 기록하였으며, 대동맥판막의 점수는 크기가 작고 노이즈가 많은 영상에서의 가시성 부족으로 낮았다.
• 모델은 테스트 이미지에서 부분적으로 노출된 판막도 성공적으로 검출하였으며, 이는 컷-앤퍼드 연산을 포함한 데이터 증강 덕분으로 추정된다.
• 심장 회전으로 인해 미트랄 판막이 작게 보일 경우 검출 신뢰도 점수가 크게 떨어졌으며, 이는 영상 평면의 방향에 민감함을 시사한다.
• 시각적 결과는 다양한 동적 범위, 줌 수준, 노이즈 수준에서도 미트랄 및 삼첨판막의 일관된 국소화를 보여주었다.