[논문 리뷰] 3D B-mode ultrasound speckle reduction using deep learning for 3D registration applications

Hongliang Li, Tal Mezheritsky외 2명|arXiv (Cornell University)|2020. 08. 03.

Image and Signal Denoising Methods참고 문헌 30인용 수 4

한 줄 요약

이 논문은 3D B모드 초음파 영상에서 스펙클 노이즈를 감소시키기 위해 3D 딥러닝 기반의 밀도 있는 U-Net 모델을 제안한다. 기존 필터링 방법에 비해 실행 시간을 두 계단 정도 감소시켰으며, 유사한 스펙클 감소 효과와 평균 유지 지수(1.066 대 0.978)를 유지한다. 이 방법은 3D 정합 정확도를 향상시켜 원본 데이터에 비해 평균 제곱오차를 절반으로 줄였다.

ABSTRACT

Ultrasound (US) speckles are granular patterns which can impede image post-processing tasks, such as image segmentation and registration. Conventional filtering approaches are commonly used to remove US speckles, while their main drawback is long run-time in a 3D scenario. Although a few studies were conducted to remove 2D US speckles using deep learning, to our knowledge, there is no study to perform speckle reduction of 3D B-mode US using deep learning. In this study, we propose a 3D dense U-Net model to process 3D US B-mode data from a clinical US system. The model's results were applied to 3D registration. We show that our deep learning framework can obtain similar suppression and mean preservation index (1.066) on speckle reduction when compared to conventional filtering approaches (0.978), while reducing the runtime by two orders of magnitude. Moreover, it is found that the speckle reduction using our deep learning model contributes to improving the 3D registration performance. The mean square error of 3D registration on 3D data using 3D U-Net speckle reduction is reduced by half compared to that with speckles.

연구 동기 및 목표

• 3D B모드 초음파 영상에서의 스펙클 노이즈 문제를 해결함으로써 영상 품질 저하와 세그멘테이션 및 정합과 같은 후처리 작업의 어려움을 완화하고자 한다.
• 기존 3D 스펙클 필터링 방법의 장시간 실행 시간 문제를 해결하여 임상 적용 가능성을 높이고자 한다.
• 기존에 3D B모드 초음파 데이터에 딥러닝을 적용한 사례가 없었기 때문에, 3D 스펙클 감소를 위한 딥러닝 기반 솔루션을 개발하고자 한다.
• 딥러닝 기반 스펙클 감소가 3D 정합 성능에 미치는 영향을 평가하고자 하며, 정확도 및 계산 효율성 측면에서 분석하고자 한다.

제안 방법

• 임상 시스템에서 확보한 3D B모드 초음파 볼륨에 대해 엔드 투 엔드로 훈련된 3D 밀도 U-Net 아키텍처를 사용하여 노이즈가 있는 입력 영상을 스펙클 감소된 출력 영상으로 매핑한다.
• 특징 전파와 기울기 흐름을 향상시키기 위해 밀도 있는 스킵 커넥션을 활용하여 3D 볼륨 데이터에서의 학습 효율성을 높인다.
• 예측된 영상와 기준값(스펙클 없는 영상) 간의 차이를 최소화하는 손실 함수를 사용하여 구조적 및 강도의 정합성을 유지한다.
• 동일한 딥러닝 모델을 사용하여 스펙클 감소 전후의 정합 정확도를 비교함으로써 3D 정합 작업에서의 프레임워크 평가를 수행한다.
• 기존의 필터링 기법과 비교하여 3D 데이터에서의 스펙클 감소, 평균 유지 지수, 실행 시간 측면에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 3D U-Net 모델은 3D B모드 초음파 영상에서 스펙클을 효과적으로 감소시키면서도 영상 강도 및 구조적 세부 정보를 유지할 수 있는가?
• RQ2 제안된 딥러닝 방법의 실행 시간은 기존의 필터링 기법과 비교해 어떻게 다른가?
• RQ3 딥러닝 기반 스펙클 감소는 원본 데이터에 비해 3D 영상 정합 정확도를 얼마나 향상시키는가?
• RQ4 제안된 방법은 기존 필터링 기법과 비교해 유사하거나 더 나은 스펙클 감소 및 평균 유지 성능을 달성하는가?

주요 결과

• 제안된 3D 밀도 U-Net은 기존의 필터링 방법에 비해 실행 시간을 두 계단 정도 감소시켜 3D 초음파 영상에서 실시간 적용 가능성을 확보했다.
• 모델은 평균 유지 지수 1.066을 기록하여 기존 필터링 방법(0.978)을 초월하여 조직 강도 특성을 더 잘 유지함을 나타냈다.
• 딥러닝 기반 스펙클 감소 영상에 기반한 3D 정합에서는 원본 스펙클 영상에 대한 정합 대비 평균 제곱오차가 50% 감소했다.
• 결과적으로 딥러닝 기반 스펙클 감소가 3D 정합 성능을 향상시킴을 입증하며, 임상 영상 처리 파이프라인에서의 유용성을 확인했다.