[논문 리뷰] Deep Learning for Ultrasound Beamforming

Ruud J. G. van Sloun, Jong Chul Ye외 1명|arXiv (Cornell University)|2021. 09. 23.

Ultrasound Imaging and Elastography인용 수 4

한 줄 요약

이 논문은 적응형 인스턴스 정규화(AdaIN) 레이어를 사용하여 여러 초음파 빔포밍 방법—예: DAS, MVBF, 탈분산—을 하나의 신경망에 통합하는 스위치 가능한 딥 빔포머를 제안한다. 학습 가능한 AdaIN 코드로 네트워크를 조건화함으로써 재학습 없이 다양한 빔포밍 출력을 생성할 수 있으며, 메모리 오버헤드를 크게 줄이고 전통적인 방법보다 이미지 품질을 향상시킨다.

ABSTRACT

Diagnostic imaging plays a critical role in healthcare, serving as a fundamental asset for timely diagnosis, disease staging and management as well as for treatment choice, planning, guidance, and follow-up. Among the diagnostic imaging options, ultrasound imaging is uniquely positioned, being a highly cost-effective modality that offers the clinician an unmatched and invaluable level of interaction, enabled by its real-time nature. Ultrasound probes are becoming increasingly compact and portable, with the market demand for low-cost pocket-sized and (in-body) miniaturized devices expanding. At the same time, there is a strong trend towards 3D imaging and the use of high-frame-rate imaging schemes; both accompanied by dramatically increasing data rates that pose a heavy burden on the probe-system communication and subsequent image reconstruction algorithms. With the demand for high-quality image reconstruction and signal extraction from less (e.g unfocused or parallel) transmissions that facilitate fast imaging, and a push towards compact probes, modern ultrasound imaging leans heavily on innovations in powerful digital receive channel processing. Beamforming, the process of mapping received ultrasound echoes to the spatial image domain, naturally lies at the heart of the ultrasound image formation chain. In this chapter on Deep Learning for Ultrasound Beamforming, we discuss why and when deep learning methods can play a compelling role in the digital beamforming pipeline, and then show how these data-driven systems can be leveraged for improved ultrasound image reconstruction.

연구 동기 및 목표

• 임상 초음파 시스템에서 각 빔포밍 방법(예: DAS, MVBF)에 대해 별도의 딥러닝 모델을 학습시키는 데 소요되는 높은 메모리 및 계산 비용을 해결하기 위해.
• 조건부 AdaIN 레이어를 사용해 단일 딥러닝 모델이 다양한 빔포밍 출력(예: DAS, MVBF, 노이즈 제거된 이미지)을 생성할 수 있도록 하기 위해.
• 쌍체 데이터가 필요한 학습을 줄이기 위해 CycleGAN과 같은 비지도 학습 전략을 탐색하여 이미지 품질 향상에 기여하기 위해.
• 데이터 기반 빔포밍을 통해 초음파 이미지의 정밀도, 해상도, 대trast를 향상시키면서도 실시간 성능를 유지하기 위해.

제안 방법

• 쌍체 입력-타겟 데이터를 사용한 지도 학습을 통해 원시 초음파 채널 데이터를 빔포밍된 이미지로 매핑하는 딥 신경망을 학습한다.
• 타겟 빔포밍 방법에서 유도된 스타일 코드를 사용해 특징 맵을 조건화하는 적응형 인스턴스 정규화(AdaIN) 레이어를 네트워크에 통합한다.
• AdaIN 변환은 참조 스타일(예: DAS 또는 MVBF)의 평균 및 분산을 따라 특징 맵의 평균과 분산을 재가중함으로써 동적 출력 전환을 가능하게 한다.
• AdaIN 코드는 경량 네트워크에 의해 생성되며, 여러 개의 전체 모델을 저장하지 않고도 효율적인 추론이 가능하게 한다.
• 비지도 학습을 위해, 저가형 장치에서의 이미지 품질 향상을 위해 다른 출처의 고품질 이미지를 사용해 CycleGAN 기반의 쌍체가 없는 이미지 변환을 수행한다.
• AdaIN 코드만 변경함으로써 빔포밍 방식을 스위치할 수 있으며, 다양한 영상 설정에 실시간으로 적응할 수 있다.

Figure 1: An illustration of three transmit types. Transmit events are denoted by $e$ , receive channels as $c$ and, for focused scanlines, $2L+1$ is the size of the active aperture in terms of elements.

실험 결과

연구 질문

• RQ1 각각의 모델을 별도로 학습시키지 않고도 단일 딥 뉴럴 네트워크가 DAS, MVBF 등의 다양한 빔포밍 기법을 모방할 수 있는가?
• RQ2 AdaIN 레이어가 다양한 빔포밍 출력을 생성하기 위해 딥 빔포머를 조건화하는 데 얼마나 효과적인가?
• RQ3 쌍체 데이터가 없는 상황에서 비지도 학습이 빔포밍 품질에 미치는 영향은 어떠한가?
• RQ4 통합된 빔포머가 임상 초음파 시스템에서 메모리 및 계산 비용을 줄이면서도 이미지 품질을 유지하거나 향상시킬 수 있는가?

주요 결과

• AdaIN 레이어를 갖춘 단일 딥 빔포머가 다양한 AdaIN 코드를 조건으로 하여 DAS, MVBF, 탈분산, 노이즈 제거된 이미지 등 다양한 빔포밍 출력을 성공적으로 생성한다.
• AdaIN 기반 접근법은 각 빔포밍 방법에 대해 별도의 모델을 학습시키는 것보다 메모리 오버헤드를 줄여 portable 초음파 시스템에 실용적으로 구현할 수 있도록 한다.
• CycleGAN 기반의 비지도 학습을 통해 쌍체가 없는 데이터를 사용해 이미지 품질 향상을 달성했으며, 실제 환경에서 정답 데이터가 확보되지 않는 경우에도 적용 가능함을 입증했다.
• 전통적인 빔포밍 기법 대비 이미지 대trast와 해상도가 향상되었으며, 특히 저SNR 및 저프레임레이트 조건에서 두드러진 성능 향상을 보였다.

Figure 2: General beamforming scheme.