[논문 리뷰] Deep Learning in RF Sub-sampled B-mode Ultrasound Imaging.

Yeo Hun Yoon, Shujaat Khan외 2명|arXiv (Cornell University)|2017. 12. 17.

Ultrasound Imaging and Elastography참고 문헌 7인용 수 4

한 줄 요약

이 논문은 깊이 학습 방법을 제안하며, 하이퍼셀룰러 매트릭스 분해를 위한 데이터 기반 기반 학습을 통해 하향 샘플링된 RF 데이터로부터 고품질 B모드 초음파 영상을 재구성한다. 이는 이미지 품질을 훼손하지 않은 채 잡음과 데이터율을 효과적으로 감소시킨다. 실제 초음파 시스템에서 검증되었다.

ABSTRACT

In portable, three dimensional, and ultra-fast ultrasound (US) imaging systems, there is an increasing need to reconstruct high quality images from a limited number of RF data from receiver (Rx) or scan-line (SC) sub-sampling. However, due to the severe side lobe artifacts from RF sub-sampling, the standard beam-former often produces blurry images with less contrast that are not suitable for diagnostic purpose. To address this problem, some researchers have studied compressed sensing (CS) to exploit the sparsity of the image or RF data in some domains. However, the existing CS approaches require either hardware changes or computationally expensive algorithms. To overcome these limitations, here we propose a novel deep learning approach that directly interpolates the missing RF data by utilizing redundancy in the Rx-SC plane. In particular, the network design principle derives from a novel interpretation of the deep neural network as a cascaded convolution framelets that learns the data-driven bases for Hankel matrix decomposition. Our extensive experimental results from sub-sampled RF data from a real US system confirmed that the proposed method can effectively reduce the data rate without sacrificing the image quality.

연구 동기 및 목표

• 휴대용, 3D, 초고속 영상 시스템에서의 RF 하향 샘플링으로 인한 제한된 RF 데이터로부터 진단적으로 유용한 B모드 초음파 영상을 생성하는 데 도전한다.
• 기존의 비드빔포밍 기법은 RF 하향 샘플링으로 인해 뚜렷한 측면 lob 아티팩트와 흐릿하고 대trast가 낮은 영상을 생성하므로 이를 극복한다.
• 하드웨어 수정이나 계산 비용이 큰 압축 감지 알고리즘을 필요로 하지 않고, 데이터 기반 딥 러닝 솔루션을 도입함으로써 이를 해결한다.
• 수신기(Rx)-스캔 라인(SC) 평면 내의 재현성을 활용하여 누락된 RF 데이터를 효과적이고 효율적으로 보간한다.

제안 방법

• RF 데이터의 하켄 매트릭스 분해를 위한 데이터 기반 기반 학습을 가능하게 하는 계단식 컨volution 레이어 프레임릿으로 구성된 딥 신경망을 설계한다.
• RF 샘플의 누락을 보간하기 위해 Rx-SC 평면 내의 본질적 재현성을 활용하며, 신호 희박성에 대한 사전 지식이 필요로 하지 않는다.
• 재구성 오차를 최소화하면서도 구조적 특징과 대비 특징을 유지하기 위해, 하향 샘플링된 입력에서 고정밀도 RF 데이터를 재구성하도록 네트워크를 종단 간(end-to-end)으로 훈련한다.
• 프레임릿 변환을 모방하는 학습된 컨volution 필터의 시퀀스로 네트워크를 구성하여 효율적이고 적응적인 신호 재구성을 가능하게 한다.
• 실제 임상 초음파 시스템에서 확보한 실제 RF 데이터에 훈련된 네트워크를 적용하여 실용적 조건에서의 성능을 검증한다.
• 진단적으로 관련된 이미지 품질을 확보하기 위해 구조적 유사성과 대비 유지에 중점을 둔 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 하향 샘플링 초음파 영상에서 누락된 RF 데이터를 효과적으로 보간하면서도 이미지 품질을 유지할 수 있는가?
• RQ2 제안된 프레임릿 기반 네트워크 아키텍처는 전통적인 비드빔포밍 및 압축 감지 방법에 비해 잡음 감소와 대비 유지 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 진단 이미지 품질을 떨어뜨리지 않고 데이터율을 어느 정도 감소시킬 수 있는가?
• RQ4 컨volution 프레임릿을 통한 데이터 기반 기반 학습이 고정 도메인 희박성 기반 접근법보다 초음파 재구성에서 우월한가?
• RQ5 이 방법은 다양한 하향 샘플링 패턴과 실제 초음파 시스템 간에 일반화 가능한가?

주요 결과

• 제안된 딥 러닝 방법은 하향 샘플링된 RF 데이터에서 표준 비드빔포밍에 비해 측면 lob 아티팩트를 크게 감소시키고 대비를 향상시킨다.
• 하드웨어 수정이나 반복 최적화를 요구하지 않으며, 실시간 적용이 가능한 고품질 이미지 재구성을 달성한다.
• 실제 초음파 데이터에 대한 광범위한 실험을 통해, 고비율 하향 샘플링에서도 진단 이미지 품질을 유지함을 확인하였다.
• 학습된 프레임릿 기반 표현은 Rx-SC 평면 내의 재현성을 효과적으로 포착하여 누락된 RF 샘플의 정확한 보간을 가능하게 한다.
• 계산 효율성과 재구성 정밀도 측면에서 기존의 압축 감지 접근법보다 우수하다.
• 다양한 하향 샘플링 패턴에 대해 네트워크가 잘 일반화되어 실제 영상 촬영 환경에서의 강건성을 입증하였다.