[논문 리뷰] Image Reconstruction via Variational Network for Real-Time Hand-Held Sound-Speed Imaging

Valery Vishnevskiy, Sergio J. Sanabria외 1명|arXiv (Cornell University)|2018. 07. 19.

Ultrasound Imaging and Elastography참고 문헌 6인용 수 6

한 줄 요약

이 논문은 제한된 각도의 시간 도달 시간 데이터를 사용하여 실시간으로 손으로 들고 쓰는 초음파 음속 영상 촬영을 위한 변분 네트워크(VN)를 제안한다. 최소한의 데이터로 학습된 최적화 기반 복원 과정을 딥러닝 아키텍처로 펼쳐내어 학습시킨 결과, 기존 기법 대비 23% 낮은 복원 오차와 27% 높은 대trast를 달성하였으며, 추론 시간이 약 10ms로 줄어들어 초음파 장치에서 실시간 영상 촬영이 가능해졌다.

ABSTRACT

Speed-of-sound is a biomechanical property for quantitative tissue differentiation, with great potential as a new ultrasound-based image modality. A conventional ultrasound array transducer can be used together with an acoustic mirror, or so-called reflector, to reconstruct sound-speed images from time-of-flight measurements to the reflector collected between transducer element pairs, which constitutes a challenging problem of limited-angle computed tomography. For this problem, we herein present a variational network based image reconstruction architecture that is based on optimization loop unrolling, and provide an efficient training protocol of this network architecture on fully synthetic inclusion data. Our results indicate that the learned model presents good generalization ability, being able to reconstruct images with significantly different statistics compared to the training set. Complex inclusion geometries were shown to be successfully reconstructed, also improving over the prior-art by 23% in reconstruction error and by 10% in contrast on synthetic data. In a phantom study, we demonstrated the detection of multiple inclusions that were not distinguishable by prior-art reconstruction, meanwhile improving the contrast by 27% for a stiff inclusion and by 219% for a soft inclusion. Our reconstruction algorithm takes approximately 10ms, enabling its use as a real-time imaging method on an ultrasound machine, for which we are demonstrating an example preliminary setup herein.

연구 동기 및 목표

• 손으로 들고 쓰는 초음파 장치에 음속 영상 촬영을 위한 실시간, 딥러닝 기반 복원 방법을 개발한다.
• 기존 최적화 기반 방법이 느린 수렴과 잡음 등으로 인해 어려움을 겪는 제한된 각도의 단층 촬영 문제를 해결한다.
• 합성 데이터와 편체 데이터 양쪽 모두에서 최첨단 TV 및 MA-TV 정규화 기법보다 영상 품질을 향상시키며, 특히 대비와 정확도를 개선한다.
• 10ms 미만의 복원 시간을 확보하여 임상용 초음파 장치에 실용적으로 구현 가능하게 한다.

제안 방법

• 변분 네트워크(VN) 아키텍처를 사용하여 반복 최적화 알고리즘(총합 제약이 있는 ADMM)을 학습 가능한 종단 간 딥 네트워크로 변환하며, 4~8층의 구조를 가진다.
• 다양한 포함 물체 형상과 통계를 가진 완전한 합성 데이터로 학습하며, L1 데이터 적합성과 L1 총합 제약을 포함한 손실 함수를 사용한다.
• 전진 모델은 b = diag(m)Lx + N(0, σN I)로 정의되며, 여기서 b는 측정된 역시간 도달 시간, L은 희박한 경로 행렬, m은 누락된 송수신 쌍을 위한 언더샘플링 마스크이다.
• VN은 각 반복 단계 내에서 학습 가능한 매개변수(예: 스텝 크기, 정규화 가중치)를 포함하여 최적의 복원 역학을 네트워크가 학습할 수 있도록 한다.
• 다양한 포함 형상과 음속 대비를 가진 200장의 학습 이미지로 구성된 대규모 합성 데이터셋을 사용하여 아키텍처를 학습한다.
• 검증 프로토콜은 30% 언더샘플링과 정규 노이즈를 포함한 고해상도 전진 모델을 사용하여 하이퍼파rameter를 튜닝하고 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 각도의 음속 복원에서, 다양한 포함 형상과 통계를 가진 훈련에 포함되지 않은 시나리오에 대해 딥 러닝 기반 변분 네트워크가 일반화할 수 있는가?
• RQ2 종단 간 학습된 복원 과정이 TV 및 MA-TV와 같은 전통적인 최적화 기반 방법보다 정확도와 대비 측면에서 뛰어나게 성능을 냈는가?
• RQ3 학습된 모델이 실시간 영상 촬영에 적합한 실시간 성능(1프레임당 10ms 미만)을 달성할 수 있는가?
• RQ4 복잡하고 현실적인 편체 데이터에서 최첨단 복원 기법 대비 모델 성능은 어떠한가?
• RQ5 임상적으로 관련된 상황에서 네트워크가 잡음과 잡음 유사한 아티팩트를 얼마나 줄이고, 병변의 구별 가능성을 얼마나 향상시키는가?

주요 결과

• 제안된 VNv4 모델은 합성 데이터에서 기존 기법인 MA-TV 대비 23% 낮은 복원 오차와 10% 높은 대비를 달성하였으며, 시각적 정밀도와 포함 형상 유지 측면에서 뚜렷한 향상이 있었다.
• 경직성 및 연성 병변이 있는 유방 편체에서 VNv4는 경직성 포함 부위에서 27% 향상된 대비를, 연성 포함 부위에서는 219% 향상된 대비를 기록하여 기존 방법이 실패한 경우에도 명확한 구분이 가능했다.
• VNv4 모델은 강력한 일반화 능력을 보였으며, 훈련 분포에 포함되지 않은 복잡한 포함 형상과 부드러운 변화까지도 성공적으로 복원하였다.
• GPU에서 복원 시간은 약 10ms로 단축되어 실시간 손으로 들고 쓰는 초음파 장치에서 실시간 영상 피드백이 가능했다.
• 정량적 지표(SAD, 대비 비율)와 정성적 평가에서 TV 및 MA-TV를 모두 능가하였으며, 특히 가까이 붙어 있거나 대비가 낮은 포함 부위를 해소하는 데 뛰어난 성능을 보였다.
• 계산 성능 벤치마크 결과, VN 추론 시간(0.01초, GPU 기준)은 데이터 전송 및 ToF 측정 시간에 비해 무시할 만큼 작아 실시간 구현에 매우 유리하다.