[논문 리뷰] Efficient B-mode Ultrasound Image Reconstruction from Sub-sampled RF Data using Deep Learning

Yeo Hun Yoon, Shujaat Khan외 2명|arXiv (Cornell University)|2017. 12. 17.

Advanced MRI Techniques and Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 저차원 헨켈 행렬 분해에 영감을 받은 컨volution 신경망(CNN)을 활용해 수신-송신(Rx-Xmit) 도메인 내의 중복성을 이용하여, 부분적으로 샘플링된 RF 데이터로부터 효율적인 B모드 초음파 영상 복원을 위한 딥러닝 방법을 제안한다. 이 방법은 ALOHA와 같은 압축 감지 기반 방법보다 훨씬 낮은 계산 비용으로 뛰어난 영상 품질을 달성하며, 하드웨어 변경 없이 반복 최적화 없이도 고정밀 복원이 가능하다.

ABSTRACT

In portable, three dimensional, and ultra-fast ultrasound imaging systems, there is an increasing demand for the reconstruction of high quality images from a limited number of radio-frequency (RF) measurements due to receiver (Rx) or transmit (Xmit) event sub-sampling. However, due to the presence of side lobe artifacts from RF sub-sampling, the standard beamformer often produces blurry images with less contrast, which are unsuitable for diagnostic purposes. Existing compressed sensing approaches often require either hardware changes or computationally expensive algorithms, but their quality improvements are limited. To address this problem, here we propose a novel deep learning approach that directly interpolates the missing RF data by utilizing redundancy in the Rx-Xmit plane. Our extensive experimental results using sub-sampled RF data from a multi-line acquisition B-mode system confirm that the proposed method can effectively reduce the data rate without sacrificing image quality.

연구 동기 및 목표

• 이동식, 3차원 및 초고속 초음파 시스템에서 RF 데이터 부분 샘플링으로 인한 영상 품질 저하 문제를 해결하기 위해.
• 하드웨어 수정이 필요하거나 계산 복잡도가 높은 압축 감지 기반 방법의 한계를 극복하기 위해.
• 수신-송신 도메인 내 신호의 중복성을 활용하여 효율적인 RF 보간을 위한 데이터 기반 딥러닝 접근법을 개발하기 위해.
• 실시간 임상 적용에 적합한 최소한의 런타임 오버헤드로 높은 영상 품질을 달성하기 위해.
• ANNIHILATING FILTER 기반 저차원 헨켈 행렬 방법(예: ALOHA)과 연결하여 이론적으로 타당성이 있는 딥러닝 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 수신-송신 도메인 및 수신-선형(Receiving-Scan Line, Rx-SL) 도메인 내의 공간적 중복성을 활용하여 직접적으로 누락된 RF 데이터를 보간하기 위해 깊이 있는 CNN을 사용한다.
• 저차원 헨켈 행렬 분해 이론적 통찰, 특히 ALOHA 프레임워크를 기반으로 네트워크를 설계하여 설명 가능성과 성능를 확보한다.
• 3×3 컨볼루션과 각 레이어당 64개 필터를 사용하는 28개의 잔차 블록을 활용하여 행렬 역행렬 계산 없이도 효율적인 특징 학습이 가능하도록 설계되었다.
• 일반화를 보장하기 위해 선형 및 볼록 어레이 트랜스듀서에서의 부분 샘플링된 RF 데이터를 기반으로 엔드 투 엔드로 모델을 훈련시켰다.
• 빔포밍을 복원 이전에 수행할 필요 없이, 직접적으로 수신-송신 도메인의 RF 데이터에 작용하므로 복원 과정이 간소화된다.
• 반복 최적화를 피함으로써 ALOHA 대비 런타임 복잡도가 수 개의 지수 수준으로 낮아졌다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 방법이 초음파 영상에서 부분 샘플링된 RF 데이터를 효과적으로 보간할 수 있으며, 진단에 적합한 영상 품질을 유지할 수 있는가?
• RQ2 제안된 딥러닝 방법의 성능가 장기적인 압축 감지 및 보간 기법(예: ALOHA, 선형 보간)과 비교해 볼 때 어떻게 다른가?
• RQ3 이 네트워크가 선형 어레이와 볼록 어레이 등의 다양한 트랜스듀서 유형과 다양한 샘플링 방식에 대해 얼마나 일반화되는가?
• RQ4 저차원 헨켈 행렬과 같은 신호 구조를 기반으로 이론적으로 타당성이 있는 딥러닝 모델을 설계할 수 있는가?
• RQ5 반복적인 압축 감지 알고리즘에 비해 제안된 방법의 계산 효율성 향상 정도는 어느 정도인가?

주요 결과

• ×4 Rx 샘플링에서 제안된 방법은 부분 샘플링된 입력보다 PSNR가 24.11% 높았고, 선형 보간보다는 19.05% 높았다.
• ×8 Rx 샘플링에서는 부분 샘플링된 입력보다 PSNR가 23.19% 향상되었고, 선형 보간보다는 25.93% 향상되었다.
• 4×2 Rx-Xmit 샘플링에서는 부분 샘플링된 입력보다 PSNR가 4.20% 높았고, 선형 보간보다는 7.19% 높았다.
• ×4 Rx, ×8 Rx, 4×2 Rx-Xmit 샘플링에서 각각 ALOHA 대비 신호 대비 잡음비(CNR)가 12.18%, 15.65%, 14.62% 향상되었다.
• ×4 Rx, ×8 Rx, 4×2 Rx-Xmit 샘플링에서 ALOHA 대비 PSNR 향상은 각각 0.98 dB, 1.09 dB, 1.05 dB였다.
• ×4 Rx, ×8 Rx, 4×2 Rx-Xmit 샘플링에서 ALOHA 대비 SSIM 향상은 각각 4.65%, 4.94%, 1.22%였다.