[논문 리뷰] Towards CT-quality Ultrasound Imaging using Deep Learning

Sanketh Vedula, Ortal Senouf외 3명|arXiv (Cornell University)|2017. 10. 17.

Medical Imaging Techniques and Applications참고 문헌 8인용 수 32

한 줄 요약

이 논문은 시뮬레이션된 초음파 전파 주파수(RF) 데이터에서 고해상도, 저노이즈 영상을 복원함으로써 CT 수준의 초음파 영상 품질을 달성하기 위해 다중 해상도 컨volution 신경망(Multi-Resolution Convolutional Neural Networks, CNNs)을 사용하는 딥러닝 프레임워크를 제안한다. 이 방법은 계산적으로 비용이 많이 드는 디스펙클링 알고리즘을 약 260배 빠르게 처리할 수 있으며, 대조도와 해상도가 향상된 CT 유사 영상의 엔드 투 엔드 복원을 가능하게 하며, 미리 보지 않은 데이터에서 PSNR 23.79 dB를 달성한다.

ABSTRACT

The cost-effectiveness and practical harmlessness of ultrasound imaging have made it one of the most widespread tools for medical diagnosis. Unfortunately, the beam-forming based image formation produces granular speckle noise, blurring, shading and other artifacts. To overcome these effects, the ultimate goal would be to reconstruct the tissue acoustic properties by solving a full wave propagation inverse problem. In this work, we make a step towards this goal, using Multi-Resolution Convolutional Neural Networks (CNN). As a result, we are able to reconstruct CT-quality images from the reflected ultrasound radio-frequency(RF) data obtained by simulation from real CT scans of a human body. We also show that CNN is able to imitate existing computationally heavy despeckling methods, thereby saving orders of magnitude in computations and making them amenable to real-time applications.

연구 동기 및 목표

• 기존 초음파 영상의 한계, 즉 스펙클 노이즈, 블러, 낮은 해상도 등이 조직 특성 분석을 어렵게 하는 문제를 해결하기 위해.
• 기존의 고복잡도 디스펙클링 방법들(NLM, BM3D 등)의 계산 비용을 줄이고 실시간으로 구현 가능한 효율적인 대안을 개발하기 위해.
• 딥러닝을 활용해 초음파 RF 데이터에서 CT 수준의 영상을 복원하는 것이 가능한지 탐색하기 위해.
• 이산화된 및 실시간 초음파 시스템에 고급 영상 복원 기술을 실용적으로 구현할 수 있도록 하기 위해.

제안 방법

• 최신 기술의 디스펙클링 알고리즘(NLM, BM3D, TV)의 출력을 근사하기 위해 엔드 투 엔드로 훈련된 다중 해상도 CNN 아키텍처를 사용한다. 입력은 로그 변환 및 디컨볼루션 처리된 초음파 RF 데이터이며, 이는 복소수 영역에서 처리된다.
• 동형 필터링을 통해 승법적 스펙클 노이즈를 덧셈 노이즈로 변환한 후, 이상치 감소 기법을 적용하여 노이즈 분포를 정규분포에 가깝게 만든다.
• 훈련 데이터로는 13,860개의 시뮬레이션된 초음파-CT 영상 패치를 사용하며, 입력은 IQ 데이터(2채널)이고 정답 레이블은 해당하는 CT 패치이다.
• NVIDIA Titan X GPU를 사용해 160,000개의 미니배치로 CNN을 훈련시키며, 정답 영상과의 픽셀 단위 차이를 최소화하는 손실 함수를 사용한다.
• 이 프레임워크는 실시간 디스펙클링과 동시에 초음파 데이터에서 CT 유사 영상으로의 직접 복원을 가능하게 한다.
• 모델은 훈련 데이터 외의 새로운 CT 데이터셋에 대해서도 잘 일반화되며, 일관된 PSNR 성능을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 딥 CNN이 NLM, BM3D, TV 필터링과 같은 계산 비용이 큰 디스펙클링 알고리즘의 출력을 정확히 근사하면서도 상당한 속도 향상을 달성할 수 있는가?
• RQ2 CNN을 사용해 시뮬레이션된 RF 데이터에서 CT 수준의 초음파 영상을 복원할 수 있으며, 이로 인해 해상도와 대비가 향상되는가?
• RQ3 CNN 기반의 복원이 과적합 없이 새로운 CT 데이터셋에 일반화되는가?
• RQ4 모델이 스펙클 노이즈나 CT 전용 노이즈와 같은 모odal 특화 잡음은 제거하면서도 해부학적 및 병리학적 세부 정보를 유지하는가?

주요 결과

• CNN 기반의 디스펙클링 방법은 GPU 기준 4배, CPU 기준 8~260배의 속도 향상을 달성했으며, 기존 NLM, BM3D, TV 필터링의 정밀도를 유지했다.
• 원본 디스펙클링 출력과의 PSNR는 BM3D 기준 34.40 dB, NLM 기준 35.33 dB, TV 기준 41.66 dB로, 근사 정확도가 매우 높음을 보였다.
• CNN 기반의 CT 수준 영상 복원 결과는 독립 테스트 세트에서 PSNR 23.79 dB를 기록했으며, 훈련 세트 성능과 유사하여 강력한 일반화 능력을 보였다.
• 시각적 및 정량적 결과에서 복원된 CT 유사 영상이 기존 디스펙클링 방법보다 정답 CT 영상에 훨씬 가까웠으며, 대비와 구조적 세부 정보가 향상되었다.
• 모델은 CT와 초음파 간의 공통된 해부학적 만델라를 학습하여 조직 특징을 유지하면서도 모달 특화 노이즈(예: CT 전용 노이즈)를 효과적으로 억제했다.
• 결과적으로 CNN은 초음파 영상에서 복잡한 역문제 해법 대신 실용적이고 실시간으로 사용 가능한 대안이 될 수 있음을 시사한다. 이는 저비용 장치에서도 고품질 복원을 가능하게 한다.