[논문 리뷰] Speckle2Speckle: Unsupervised Learning of Ultrasound Speckle Filtering Without Clean Data

Rüdiger Göbl, Christoph Hennersperger외 1명|arXiv (Cornell University)|2022. 07. 31.

Image Enhancement Techniques인용 수 9

한 줄 요약

이 논문은 깨끗한 데이터 없이 동일 해부학적 구조의 여러 시뮬레이션된 스펙클 실루엣을 활용하여 훈련하는 딥러닝 기반 초음파 스펙클 필터링 방법인 Speckle2Speckle을 제안한다. 합성 초음파 데이터에서 Noise2Noise 스타일의 비지도 학습 접근법을 적용함으로써, OBNLM과 유사한 성능을 달성하면서도 오랜 시간이 소요되는 기존 방법들보다 수개의 주기수 배 빠른 속도로 실시간 GPU 기반 적용이 가능하다.

ABSTRACT

In ultrasound imaging the appearance of homogeneous regions of tissue is subject to speckle, which for certain applications can make the detection of tissue irregularities difficult. To cope with this, it is common practice to apply speckle reduction filters to the images. Most conventional filtering techniques are fairly hand-crafted and often need to be finely tuned to the present hardware, imaging scheme and application. Learning based techniques on the other hand suffer from the need for a target image for training (in case of fully supervised techniques) or require narrow, complex physics-based models of the speckle appearance that might not apply in all cases. With this work we propose a deep-learning based method for speckle removal without these limitations. To enable this, we make use of realistic ultrasound simulation techniques that allow for instantiation of several independent speckle realizations that represent the exact same tissue, thus allowing for the application of image reconstruction techniques that work with pairs of differently corrupted data. Compared to two other state-of-the-art approaches (non-local means and the Optimized Bayesian non-local means filter) our method performs favorably in qualitative comparisons and quantitative evaluation, despite being trained on simulations alone, and is several orders of magnitude faster.

연구 동기 및 목표

• 깨끗한 기준 이미지가 없는 조건에서 딥러닝 기반 초음파 스펙클 필터를 훈련시키는 데 도전한다.
• 수동으로 튜닝이 필요한 기존 스펙클 필터의 한계를 극복하고, 계산 비용이 높은 방법을 개선한다.
• 오직 시뮬레이션된 데이터만을 사용하여 실시간 고성능 스펙클 감소를 가능하게 한다.
• 동일한 해부학적 구조에서 유도된 독립적인 여러 스펙클 실루엣을 활용한 비지도 학습의 의학 영상 적용 가능성 탐색

제안 방법

• 동일한 기저 조직 기하학을 가진 여러 독립적인 스펙클 실루엣을 생성하기 위해 현실적인 초음파 시뮬레이션을 활용한다.
• 같은 장면의 두 개의 다른 노이즈(스펙클) 버전에서 깨끗한 이미지를 재구성하도록 네트워크를 학습하는 Noise2Noise 스타일의 훈련 프레임워크를 적용한다.
• 예측 출력과 두 번째 스펙클 실루엣 간의 L2 손실을 최소화하도록 U-Net 기반의 CNN 아키텍처를 훈련한다.
• 시뮬레이션 기하학에서 유도된 인터페이스 맵을 활용해 필터링 과정에서 구조적 세부 정보를 유지하고 선명함을 향상시킨다.
• 평균 이미지나 기준 깨끗한 스캔이 필요 없도록 오직 시뮬레이션된 데이터에서만 훈련한다.
• 다중 척도 손실과 데이터 증강을 활용해 실제 환경의 다양성에 대한 일반화 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 동일한 해부학적 구조에서 서로 다른 스펙클 패턴을 가진 여러 실루엣만을 사용하여 깨끗한 훈련 데이터가 전혀 없이도 딥러닝 모델이 효과적인 스펙클 감소를 학습할 수 있는가?
• RQ2 비지도 학습 및 시뮬레이션 훈련된 필터의 성능은 이미지 품질과 계산 효율성 측면에서 최신 기술 수준의 수작업 기반 및 지도 학습 방법과 비교해 어떻게 되는가?
• RQ3 미세조정 없이도 시뮬레이션된 데이터에서 학습한 모델이 실존하는 생체 내 초음파 촬영 결과에 얼마나 잘 일반화되는가?
• RQ4 기하학적 사전 지식(예: 인터페이스 맵)을 추가로 활용하면 필터링 결과에서 조직 경계와 구조적 세부 정보의 유지가 얼마나 향상되는가?

주요 결과

• 제안된 방법은 정성적 및 정량적 평가에서 최적화된 베이지안 비국소 평균(OBNLM) 필터와 동등한 스펙클 감소 성능를 달성한다.
• 실험적 필름 데이터에서 배경 영역의 표준편차는 1.61 × 10⁻²를 기록하여 SRAD, 중앙값, 양방향 필터를 초월하고, NLM(1.49 × 10⁻²)과 OBNLM(1.32 × 10⁻²)에 근접한다.
• 생체 내 갑상선 영상에서 표준편차는 4.54 × 10⁻²를 기록하여 OBNLM(4.20 × 10⁻²)과 NLM(4.21 × 10⁻²)와 유사한 성능를 보이며, 실제 데이터로의 일반화 능력이 뛰어나다는 것을 입증한다.
• 현대 GPU에서 수십 밀리초 내로 실행되어 NLM 및 OBNLM와 비교해 CPU에서 수분이 소요되는 기존 방법들보다 훨씬 빠르다.
• 훈련에 실제 데이터를 사용하지 않았음에도 불구하고 조직 경계와 같은 구조적 세부 정보를 잘 유지하지만, 근육층과 같은 미세한 선형 구조 복원에서는 다소 성능이 떨어진다.
• 훈련 과정에서 인터페이스 맵을 포함시킴으로써 조직 경계의 유지가 향상되고 필터링 결과의 시각적 품질도 향상된다.