[논문 리뷰] End-to-End Learning-Based Ultrasound Reconstruction

Walter Simson, Rüdiger Göbl외 5명|arXiv (Cornell University)|2019. 04. 09.

Ultrasound Imaging and Elastography참고 문헌 5인용 수 12

한 줄 요약

이 논문은 원시적인 시간 지연 초음파 데이터를 최소 분산(MV)-유사 이미지로 매핑하기 위해 맞춤형 손실 함수로 훈련된 완전 컨volution 신경망(FCNN)을 사용하는 엔드 투 엔드 딥 러닝 기반 초음파 재구성 방법을 제안한다. 이 방법은 진단적 이미지 품질이 MV 빔포밍과 유사한 실시간 성능(17 Hz 프레임 레이트)을 달성하여 임상 적용 가능성과 기존 DAS보다 뛰어난 이미지 품질을 입증하였다. 펌프 및 생체 내 평가에서 모두 성능을 입증하였다.

ABSTRACT

Ultrasound imaging is caught between the quest for the highest image quality, and the necessity for clinical usability. Our contribution is two-fold: First, we propose a novel fully convolutional neural network for ultrasound reconstruction. Second, a custom loss function tailored to the modality is employed for end-to-end training of the network. We demonstrate that training a network to map time-delayed raw data to a minimum variance ground truth offers performance increases in a clinical environment. In doing so, a path is explored towards improved clinically viable ultrasound reconstruction. The proposed method displays both promising image reconstruction quality and acquisition frequency when integrated for live ultrasound scanning. A clinical evaluation is conducted to verify the diagnostic usefulness of the proposed method in a clinical setting.

연구 동기 및 목표

• 고품질의 데이터 의존성 빔포밍 기법(예: MV)과 임상적으로 실용적인 실시간 재구성 간 격차를 메우기 위해.
• 원시적인 시간 지연 데이터에서 직접 고해상도 초음파 이미지를 재구성할 수 있는 딥 네ural 네트워크를 개발하기 위해.
• 임상적으로 관련성이 있는 이미지 특성(예: 대비, 질감, 스펙클)을 향해 네트워크 출력을 이끄는 모odal 특화 손실 함수를 설계하기 위해.
• 진단적 유용성을 위해 펌프 및 생체 내 임상 환경에서 방법을 검증하기 위해.
• MV 빔포밍 품질을 유지하거나 초월하면서도 실시간 성능(≥15 Hz)을 달성하기 위해.

제안 방법

• 완전 컨volution 신경망(FCNN)이 시간 지연 원시 초음파 데이터를 최소 분산(MV) 빔포밍 기준 이미지로 매핑하도록 훈련된다.
• 평균 제곱 오차(MSE), 구조적 유사도 지수(SSIM), 총 변동성(TV) 정규화를 조합한 맞춤형 손실 함수를 사용하여 이미지 품질을 향상시키고 노이즈를 감소시킨다.
• 손실 함수는 초음파 영상에 특화되어 있으며, 진단 평가에 관련된 대비, 질감, 스펙클 특성에 중점을 둔다.
• 훈련은 합성 또는 펌프 데이터에 의존하지 않고 생체 내 데이터를 사용하여 엔드 투 엔드로 수행된다.
• 네트워크는 GPU에서 실시간 추론을 위해 임상 초음파 장치에 통합되어 17 Hz 프레임 레이트를 달성한다.
• 완전 컨볼루션 아키텍처를 활용하여 임의의 스캔 깊이를 지원하고 공간 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크는 MV 빔포밍 수준의 진단 품질을 갖는 고품질 초음파 이미지를 원시 데이터에서 재구성할 수 있는가?
• RQ2 대비, 질감, 스펙클과 같은 임상적으로 관련성이 있는 이미지 특징을 향해 네트워크 출력을 이끄는 맞춤형 손실 함수를 설계할 수 있는가?
• RQ3 제안된 방법은 실시간 성능(≥15 Hz)을 확보하면서도 기존 DAS 빔포밍보다 이미지 품질을 유지하거나 향상시킬 수 있는가?
• RQ4 네트워크는 새로운 생체 내 해부학적 구조와 임상 시나리오에 일반화되는가?
• RQ5 네트워크는 진단 유용성을 훼손하지 않고 임상 초음파 워크플로우에 통합될 수 있는가?

주요 결과

• 제안된 방법은 17 Hz의 프레임 레이트를 달성하여 MV 빔포머(0.14 Hz) 대비 121배 빠른 속도 향상으로 실시간 임상 사용이 가능해졌다.
• 임상 평가에서 제안된 방법은 모든 일곱 가지 지표에서 평균 점수 2.95/5로 가장 높은 평가를 받았으며, DAS(2.19/5)와 MV(2.90/5)를 모두 앞섰다.
• 대비(3.35/5), 해상도(2.95/5), 미세 해부학(2.47/5)에서 가장 높은 점수를 기록하여 뛰어난 진단 잠재력을 보였다.
• 네트워크는 새로운 해부학적 구조(예: 갑상선, 브레히오라디알리우스 근육)를 포함한 생체 내 이미지에서도 높은 품질의 결과를 생성하여 강력한 일반화 능력을 입증하였다.
• 의료진 평가를 통해 맞춤형 손실 함수가 구조적 정밀도 향상과 스펙클 감소를 이끌어내 데 성공했음을 확인하였다.
• 모든 정성적 지표에서 DAS를 능가했으며, MV 빔포밍 대비 121배 빠른 프레임 레이트를 확보하여 임상 적용 가능성과 성능 향상을 입증하였다.