[논문 리뷰] Pushing the Limit of Unsupervised Learning for Ultrasound Image Artifact Removal

Shujaat Khan, Jaeyoung Huh외 1명|arXiv (Cornell University)|2020. 06. 26.

Image and Signal Denoising Methods참고 문헌 48인용 수 4

한 줄 요약

이 논문은 쌍화된 훈련 데이터가 없는 조건에서 최적 운반 이론 기반 순환 GAN(OT-cycleGAN)을 사용한 비지도 딥러닝 방법을 제안하여 초음파 영상의 잡음 제거를 수행한다. 이 방법은 한 개의 통합 훈련 모델을 사용하여 다수의 잡음 유형—스펙클 노이즈, 블록 아티팩트, 제한된 샘플링, 평면에서 초점 B모드로의 변환—에 대해 고해상도 영상 복원을 가능하게 하며, 빠른 추론(1장당 7.92ms)을 통해 거의 지도 학습 수준의 성능을 달성한다.

ABSTRACT

Ultrasound (US) imaging is a fast and non-invasive imaging modality which is widely used for real-time clinical imaging applications without concerning about radiation hazard. Unfortunately, it often suffers from poor visual quality from various origins, such as speckle noises, blurring, multi-line acquisition (MLA), limited RF channels, small number of view angles for the case of plane wave imaging, etc. Classical methods to deal with these problems include image-domain signal processing approaches using various adaptive filtering and model-based approaches. Recently, deep learning approaches have been successfully used for ultrasound imaging field. However, one of the limitations of these approaches is that paired high quality images for supervised training are difficult to obtain in many practical applications. In this paper, inspired by the recent theory of unsupervised learning using optimal transport driven cycleGAN (OT-cycleGAN), we investigate applicability of unsupervised deep learning for US artifact removal problems without matched reference data. Experimental results for various tasks such as deconvolution, speckle removal, limited data artifact removal, etc. confirmed that our unsupervised learning method provides comparable results to supervised learning for many practical applications.

연구 동기 및 목표

• 실제 임상 환경에서 쌍화된 고품질 초음파 영상이 부족한 문제를 해결한다.
• 기존의 필터링 및 모델 기반 방법의 한계를 극복한다. 이러한 방법들은 높은 계산 비용과 모델 일관성 부족 문제를 야기한다.
• 일치하는 기준 데이터가 필요 없이 다양한 초음파 아티팩트 제거 작업에 대해 강력하고 일반화 가능한 비지도 딥러닝 프레임워크를 개발한다.
• 최적 운반 이론을 통해 학습된 영상 향상이 순수한 시각적 효과가 아니라 실제 분포 개선을 반영한다는 것을 검증한다.
• 고성능 기준 스캔이 불가능한 저비용, 이식성 있거나 고속 영상 시스템에서의 실용적 구현을 가능하게 한다.

제안 방법

• 최적 운반 이론 기반 순환 GAN(OT-cycleGAN) 프레임워크를 채택하여, 노이즈가 많은 영상 분포에서 깨끗한 영상 분포로의 매핑을 이론적으로 근거를 두고 있는 비지도 학습 메커니즘을 제공한다.
• 한 개의 수집 모odal리티(예: 평면파 또는 하위샘플링된 RF)에서 온 저품질 초음파 영상 데이터로 단일 통합 모델을 훈련하고, 다른 해부학적 영역이나 영상 조건에서의 고품질 영상 데이터를 타겟 도메인으로 활용한다.
• 최적 운반 이론을 통합한 순환 일致성 손실을 활용하여 영상 번역 과정에서 구조적 및 분포적 유지 보장을 확보하고, 잡음의 유입을 최소화한다.
• 단일, 한 번의 훈련으로 다양한 가속도 요인(SLA에서 6-MLA까지)과 하위샘플링 비율에서 다양한 작업—디컨볼루션, 스펙클 제거, 제한된 데이터 아티팩트 억제—에 대해 효과적으로 적용한다.
• 효율적인 네트워크 설계를 통해 추론 속도를 최적화하여 평균 1장당 7.92ms의 재구성 시간을 달성하였으며, 실시간 응용에 적합하다.
• 실생 데이터와 조직 모의 페phantom을 활용하여 일반화 능력을 검증하여 다양한 영상 조건 하에서의 구조 보존성과 정확성을 평가한다.

실험 결과

연구 질문

• RQ1 OT-cycleGAN 기반의 비지도 딥러닝이 쌍화된 훈련 데이터 없이도 지도 학습 방법과 유사한 아티팩트 제거 성능을 달성할 수 있는가?
• RQ2 OT-cycleGAN 프레임워크가 영상 품질 향상이 순수한 시각적 효과가 아니라 깨끗한 영상으로의 실제 분포 이동을 반영한다는 것을 보장하는가?
• RQ3 단일, 통합 훈련 모델이 스펙클 노이즈, 블록 아티팩트, 제한된 샘플링 등의 다양한 초음파 아티팩트를 다양한 영상 프로토콜에서 효과적으로 처리할 수 있는가?
• RQ4 가속도 요인과 하위샘플링 비율이 다양할 경우, 정량적 지표(예: GCNR)와 시각적 품질 측면에서 이 방법의 성능은 어떠한가?
• RQ5 이 방법은 해부학적 다양성에 대해 강건한가? 또한, 잘못된 특징을 유도하지 않고 미세한 구조를 유지할 수 있는가?

주요 결과

• 제안된 비지도 OT-cycleGAN 방법은 모든 MLA 가속도 요인(SLA에서 6-MLA까지)에서 평균 GCNR 향상도 0.1372를 달성하여 영상 대비 노이즈 비율을 유의미하게 향상시켰다.
• 하위샘플링된 RF 데이터에 대해 비지도 모델은 1× 하위샘플링 조건에서 CR(대비 대비 노이즈 비율) 11.06 dB를 기록하였으며, 이는 1× 하위샘플링 조건에서의 지도 학습 기준(9.80 dB)에 근접한 성능을 보였다.
• 재훈련 없이도 모든 테스트된 가속도 요인(SLA에서 6-MLA까지)에서 일관된 성능을 유지하여 강력한 일반화 능력과 내구성을 입증하였다.
• 재구성 시간 평균은 1장당 7.92ms로, 심장초음파와 같은 임상 환경에서 실시간 적용이 가능함을 보였다.
• 페phantom 연구에서 방법은 정확하게 구조적 세부 정보를 복원하였지만, 고가속도 요인(예: 6-MLA)에서는 성능이 약간 저하되어 블록 아티팩트가 여전히 두드러졌다.
• 시각적 및 정량적 결과는 향상이 순수한 미적 효과가 아니라는 것을 확인하였으며, 다양한 영상 조건 하에서 조직 구조를 유지하고 스펙클 및 블록 아티팩트를 효과적으로 감소시켰다.