[논문 리뷰] Adaptive Ultrasound Beamforming using Deep Learning

Ben Luijten, Regev Cohen외 5명|TU/e Research Portal|2019. 09. 23.

Ultrasound Imaging and Elastography참고 문헌 30인용 수 4

한 줄 요약

이 논문은 초음파 영상에서 적응형 빔포밍의 빠른, 데이터 효율적인 근사치를 학습하는 딥러닝 프레임워크인 ABLE(Adaptive Beamforming by Deep Learning)를 제안한다. 최소 분산 빔포밍의 구조를 신경망 내에 모델링함으로써, ABLE는 상태최저 수준의 적응형 방법과 유사한 영상 품질을 달성하면서도 계산 비용을 수개월 수준으로 감소시켜, 부족한 데이터로도 실시간 고품질 영상 촬영을 가능하게 한다.

ABSTRACT

Biomedical imaging is unequivocally dependent on the ability to reconstruct interpretable and high-quality images from acquired sensor data. This reconstruction process is pivotal across many applications, spanning from magnetic resonance imaging to ultrasound imaging. While advanced data-adaptive reconstruction methods can recover much higher image quality than traditional approaches, their implementation often poses a high computational burden. In ultrasound imaging, this burden is significant, especially when striving for low-cost systems, and has motivated the development of high-resolution and high-contrast adaptive beamforming methods. Here we show that deep neural networks that adopt the algorithmic structure and constraints of adaptive signal processing techniques can efficiently learn to perform fast high-quality ultrasound beamforming using very little training data. We apply our technique to two distinct ultrasound acquisition strategies (plane wave, and synthetic aperture), and demonstrate that high image quality can be maintained when measuring at low data-rates, using undersampled array designs. Beyond biomedical imaging, we expect that the proposed deep~learning based adaptive processing framework can benefit a variety of array and signal processing applications, in particular when data-efficiency and robustness are of importance.

연구 동기 및 목표

• 초음파 영상에서 적응형 빔포밍의 높은 계산 비용이 실시간 적용을 제한함에도 불구하고 뛰어난 영상 품질을 제공함을 해결하기 위해.
• 대규모 학습 데이터셋이 필요 없이도 최적의 아포다이제이션 가중치를 학습할 수 있는 데이터 효율적인 딥러닝 모델을 개발하기 위해.
• 저데이터율 및 부족한 샘플링된 트랜스듀서 어레이를 사용하여 실시간 고대비 초음파 영상 촬영을 가능하게 하기 위해.
• 모델 기반 신경망을 활용하여 최고 품질의 적응형 빔포머(MV 등)와 계산 가능성이 높은 방법(DAS 등) 사이의 격차를 메우기 위해.
• 효율적이고 학습 가능한 빔포밍을 통해 자원 제약이 있는 시스템에 적응 신호 처리의 적용 범위를 넓히기 위해.

제안 방법

• 제안된 ABLE 네트워크는 최소 분산(MV) 빔포밍의 알고리즘적 구조를 모방하는 작고, 미분 가능한 신경망이며, 왜곡 없는 응답 및 전력 정규화와 같은 제약 조건을 포함한다.
• 네트워크는 초음파 어레이의 시간에 동기화된 RF 신호를 입력으로 받아 각 영상 픽셀에 대한 아포다이제이션 가중치를 예측하며, 재구성 손실과 물리적 제약 조건을 사용한 역전파를 통해 가중치를 최적화한다.
• 아키텍처는 계산 효율성이 뛰어나며 픽셀 단위로 작동하며, 데이터에서 직접 최적의 가중치를 학습함으로써 고비용의 행렬 역행렬 계산을 피한다.
• 학습은 소수의 채널을 가진 합성 또는 실재 초음파 데이터를 사용하여 수행되며, 25% 채널 샘플링 조건에서도 데이터 효율성이 유지된다.
• 방법은 평면파 및 합성 아포절러 영상의 두 가지 수신 방식에서 평가되어 다양한 영상 전략에 대한 강건성을 입증한다.
• 네트워크는 데이터 일치 손실과 정규화를 조합하여 엔드 투 엔드로 학습되며, 노이즈 및 간섭에 대한 영향 없음 등의 물리적 제약 조건을 강제한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 계산 복잡도를 크게 줄여 최소 분산 빔포머의 성능을 근사화할 수 있는가?
• RQ2 제한적 또는 부족한 초음파 데이터로 학습된 딥러닝 기반 빔포머가 얼마나 높은 영상 품질을 유지할 수 있는가?
• RQ3 기존의 빔포밍 방법(DAS, iMAP, CF 등)과 비교할 때, 제안된 모델 기반 딥러닝 접근법은 해상도, 대비 및 계산 비용 측면에서 어떤가?
• RQ4 네트워크는 평면파 및 합성 아포절러 영상과 같은 다양한 초음파 영상 프로토콜 간에 일반화되는가?
• RQ5 낮은 신호 대 잡음비 조건에서도 네트워크는 격자 빔 및 잡음과 같은 아티팩트를 억제하면서 강력한 점 산란체를 유지할 수 있는가?

주요 결과

• ABLE은 전체 어레이 채널의 25%만으로도 최소 분산(MV) 빔포머와 해상도 및 대비 측면에서 유사한 영상 품질을 달성한다.
• ABLE의 계산 비용은 MV 기반 방법보다 현저히 낮으며 어레이 크기에 따라 제곱 이하로 증가하며, 행렬 역행렬 계산의 이론적 하한선인 $N^2\text{log}(N)$ 이하로 유지된다.
• 25% 채널 샘플링 조건에서, ABLE는 결정론적 샘플링보다 저신호 대 잡음비 영역(예: 스펙클 우세 영역)에서 아티팩트를 줄이고, 공백 영역에서 더 나은 잡음 억제 성능을 보인다.
• 무작위 샘플링은 더 넓은 측면 빔을 유도하지만 결정론적 샘플링보다 노이즈 및 잡음 억제 성능이 뛰어나 전체 대비가 향상된다.
• 낮은 데이터율 조건에서도 강력한 점 산란체(예: stents)의 가시성이 유지되어, 혈관 내 초음파(IVUS) 영상과 같은 임상 적용에 적합하다.
• IVUS 영상에서 25% 및 50% 샘플링된 데이터로부터의 이중 단계 ABLE 재구성은 시뮬레이션 및 생체 내 관상동맥 구조를 고정밀도로 회복하는 데 성공했다.