[논문 리뷰] Learning beamforming in ultrasound imaging

Sanketh Vedula, Ortal Senouf외 4명|arXiv (Cornell University)|2018. 12. 19.

Ultrasound Imaging and Elastography참고 문헌 8인용 수 6

한 줄 요약

이 논문은 딥러닝을 활용하여 초음파 영상에서 송신빔 패턴과 수신빔포밍을 동시에 최적화하는 엔드 투 엔드 미분 가능한 학습 프레임워크를 제안한다. 유일한 이중경로 네트워크를 미분 가능한 빔포밍 레이어와 함께 훈련시킴으로써, 측정 수를 줄인 고프레임레이트 설정에서 전통적인 딜레이 앤 서머 빔포밍 기반 방법에 비해 영상 품질 향상이 뚜렷하게 이루어진다.

ABSTRACT

Medical ultrasound (US) is a widespread imaging modality owing its popularity to cost efficiency, portability, speed, and lack of harmful ionizing radiation. In this paper, we demonstrate that replacing the traditional ultrasound processing pipeline with a data-driven, learnable counterpart leads to significant improvement in image quality. Moreover, we demonstrate that greater improvement can be achieved through a learning-based design of the transmitted beam patterns simultaneously with learning an image reconstruction pipeline. We evaluate our method on an in-vivo first-harmonic cardiac ultrasound dataset acquired from volunteers and demonstrate the significance of the learned pipeline and transmit beam patterns on the image quality when compared to standard transmit and receive beamformers used in high frame-rate US imaging. We believe that the presented methodology provides a fundamentally different perspective on the classical problem of ultrasound beam pattern design.

연구 동기 및 목표

• 고프레임레이트 초음파 영상에서의 프레임 레이트와 영상 품질 간의 상충 관계를 해결하기 위해 최적의 송신빔 패턴을 학습하는 것.
• 송신 및 수신 단계를 고정되거나 별도로 최적화하는 전통적인 빔포밍 파이프라인의 한계를 극복하는 것.
• 송신빔 패턴과 수신빔포머를 함께 최적화할 수 있는 완전히 미분 가능한 엔드 투 엔드 신호 처리 파이프라인을 개발하는 것.
• 전방 모델의 파rameter(송신빔 패턴)을 학습하는 것이 오직 역방향 재구성 과정만 학습하는 것보다 더 큰 영상 품질 향상을 가져오는가를 입증하는 것.

제안 방법

• 분리된 경로를 통해 복소수 신호의 실수부(I) 및 허수부(Q)를 동시에 처리하는 통합 이중경로 컨볼루션 신경망을 사용하며, 손실은 최종 에너볼롭 영상에서 계산된다.
• 다양한 이미지 왜곡 기법(Jaderberg 등)에 영감을 얻어 개발된 새로운 미분 가능한 빔포밍 레이어를 도입하여, 빔포밍 연산을 통해 역전파가 가능하도록 한다.
• 빔포밍 및 재구성 포함 수신 파이프라인 전반을 완전히 미분 가능하게 구현하여, 송신빔 패턴 파rameter와 함께 공동 최적화가 가능하도록 한다.
• 영상 작업에 적응하는 학습 가능한 빔포머를 사용하여 송신빔 패턴을 엔드 투 엔드로 최적화하며, 초기화로 다중선 획득(MLA), 다중선 전송(MLT), 무작위 패턴 등을 사용한다.
• 파이프라인은 에너볼롭 영상에 대한 지도 학습 손실을 사용하여 훈련되며, 지표는 딜레이 앤 서머 빔포밍 기반 단일선 획득(SLA) 영상에서 유도된다.
• 다양한 감소 비율 및 초기화 전략에 대해 일반화 성능을 보이며, 다양한 영상 조건에 대한 강건성과 적응성을 입증한다.

실험 결과

연구 질문

• RQ1 수신 빔포밍 파이프라인만 학습하는 것보다 송신빔 패턴과 수신빔포밍을 함께 학습함으로써 초음파 영상 품질 향상이 가능할까?
• RQ2 빔포밍 과정의 엔드 투 엔드 미분 가능성은 어떻게 송신빔 패턴 최적화를 향상시키는가?
• RQ3 학습된 빔 패턴의 특성은 무엇이며, MLA, MLT 또는 무작위 패턴과 비교해 볼 때 어떻게 다를까?
• RQ4 전방 모델(송신빔 패턴)을 학습하는 것이 오직 역방향 매핑(영상 재구성)만 학습하는 것보다 더 큰 향상을 가져오는가?
• RQ5 다양한 초기화 및 측정 비율 조건에서 학습된 파이프라인의 성능은 어떻게 일반화되는가?

주요 결과

• 학습된 Tx-Rx 파이프라인은 실시간 심장 데이터셋에서 PSNR 31.14 dB, SSIM 0.92, L1 오차 7.62를 기록하여 전통적인 딜레이 앤 서머 빔포밍보다 뚜렷이 뛰어난 성능을 보였다.
• 20-MLA 설정에서 학습된 Tx-Rx 방법은 학습된 Rx 전용 기준 대비 PSNR를 1.0 dB 향상시키고 L1 오차를 2.3 감소시켰다.
• 시각적 비교 결과 학습된 Tx-Rx 방법은 잡음이 많은 영역에서 아티팩트를 줄이고 해상도를 향상시켜, 특히 저신호대비 잡음비 영역에서 뚜렷한 개선을 보였다.
• 학습된 빔 패턴은 더 높은 직접성으로 수렴하였으며, 초기에 넓은 빔(예: 20-MLA)이 두 개의 명확한 좁은 빔으로 수렴하여 집중력 향상을 시사했다.
• 10-랜덤 초기화 실험 결과 학습된 빔 패턴은 랜덤한 비방향성 빔보다 뚜렷이 뛰어난 성능을 보였으며, 이는 학습된 수신기에서는 평면파가 최적일 수 없음을 시사한다.
• 다양한 감소 비율 및 초기화 방식에 대해 강력한 일반화 성능을 보이며, PSNR, SSIM, L1 오차 모두 일관되게 향상된 결과를 기록했다.