[논문 리뷰] Self-Supervised Learning based CT Denoising using Pseudo-CT Image Pairs

Dong Kyu Won, Euijin Jung외 3명|arXiv (Cornell University)|2021. 04. 06.

Medical Imaging Techniques and Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 사전 훈련된 노이즈 모델의 앙상블을 사용하여 저선량 CT(LDCT) 노이즈를 시뮬레이션함으로써 실제와 유사한 가짜-CT 이미지 쌍을 생성하는 자기지도 학습 기반 CT 노이즈 제거 방법을 제안한다. 이러한 가짜-이미지 쌍을 반복적으로 이용해 노이즈 제거 모델을 개선함으로써, 레이블이 부여된 LDCT/NDCT 쌍이 필요 없이 다양한 기준 모델들에 대해 노이즈 제거 성능을 크게 향상시키며, 2016년 AAPM 그랜드 챌린지 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, Self-supervised learning methods able to perform image denoising without ground truth labels have been proposed. These methods create low-quality images by adding random or Gaussian noise to images and then train a model for denoising. Ideally, it would be beneficial if one can generate high-quality CT images with only a few training samples via self-supervision. However, the performance of CT denoising is generally limited due to the complexity of CT noise. To address this problem, we propose a novel self-supervised learning-based CT denoising method. In particular, we train pre-train CT denoising and noise models that can predict CT noise from Low-dose CT (LDCT) using available LDCT and Normal-dose CT (NDCT) pairs. For a given test LDCT, we generate Pseudo-LDCT and NDCT pairs using the pre-trained denoising and noise models and then update the parameters of the denoising model using these pairs to remove noise in the test LDCT. To make realistic Pseudo LDCT, we train multiple noise models from individual images and generate the noise using the ensemble of noise models. We evaluate our method on the 2016 AAPM Low-Dose CT Grand Challenge dataset. The proposed ensemble noise model can generate realistic CT noise, and thus our method significantly improves the denoising performance existing denoising models trained by supervised- and self-supervised learning.

연구 동기 및 목표

• 강력한 CT 노이즈 제거 모델을 훈련하기 위해 짝지어진 LDCT 및 NDCT 이미지의 가용성 부족 문제를 해결하기 위해.
• 자기지도 학습을 위한 CT에서의 실제 노이즈 특성과 다름없는 랜덤 또는 가우시안 노이즈의 한계를 극복하기 위해.
• 기존의 지도 학습 및 자기지도 학습 기반 노이즈 제거 방법을 향상시킬 수 있는 모델에 종속되지 않는 프레임워크를 개발하기 위해.
• 개별 LDCT/NDCT 쌍에 대해 훈련된 앙상블 노이즈 모델을 활용하여 고해상도의 가짜-LDCT 이미지를 생성하기 위해.

제안 방법

• 가용한 LDCT/NDCT 쌍을 사용하여 LDCT에서 NDCT를 예측하는 노이즈 제거 모델을 사전 훈련한다.
• NDCT - LDCT의 차이 맵을 추정하기 위해 다수의 개별 LDCT 노이즈 모델을 사전 훈련한다. 이는 CT 전용 노이즈를 나타낸다.
• 테스트용 LDCT 이미지에 앙상블 노이즈 모델을 적용하여 실제적인 가짜-LDCT 및 가짜-NDCT 이미지를 생성함으로써 가짜-CT 이미지 쌍을 생성한다.
• 생성된 가짜-CT 이미지 쌍을 자기지도 학습 목표로 사용하여 노이즈 제거 모델을 미세 조정한다.
• 노이즈 모델의 앙상블을 통해 생성된 노이즈의 현실성과 다양성을 향상시켜 단일 노이즈 패턴에 대한 과적합을 방지한다.
• 기존 모델(N2C, N2N, N2V)에 이 방법을 적용하여 모델에 종속되지 않는 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 LDCT/NDCT 쌍이 필요 없이 가짜-CT 이미지 쌍을 활용한 자기지도 학습이 CT 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 랜덤 또는 가우시안 노이즈보다 앙상블 노이즈 모델이 자기지도 학습 기반 노이즈 제거에서 더 현실적인 CT 노이즈를 생성할 수 있는가?
• RQ3 제안된 방법이 기존의 지도 학습 및 자기지도 학습 기반 노이즈 제거 모델에 대해 모델에 종속되지 않는 방식으로 성능 향상을 이룰 수 있는가?
• RQ4 생성된 가짜-LDCT 이미지의 품질이 최종 노이즈 제거 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 N2C, N2N, N2V를 포함한 모든 테스트 기준 모델에서 노이즈 제거 성능을 크게 향상시켜, 모델에 종속되지 않는 성능을 입증한다.
• 앙상블 노이즈 모델은 단일 노이즈 모델과 랜덤 노이즈(Gaussian, Hist)보다 우수한 성능을 보이며, 실제 CT 노이즈 특성과 더 유사한 노이즈를 생성한다.
• 앙상블 노이즈 모델을 사용해 생성된 가짜-CT 이미지 쌍은 랜덤 노이즈로 생성된 것보다 핵심 CT 이미지 특징을 유지하고 잡음 요소를 줄인다.
• 정량적 결과에서는 기준 방법들보다 높은 PSNR 및 SSIM 점수를 기록하며, 특히 N2N 및 N2V와 같은 자기지도 학습 접근법에서 가장 큰 향상을 보였다.
• 대규모 레이블이 부여된 데이터에 접근할 수 없음에도 불구하고, 2016년 AAPM 저선량 CT 그랜드 챌린지 데이터셋에서 최신 기술 수준의 성능을 달성하였다.
• 절단 분석 결과, 고품질의 가짜-LDCT 생성이 효과적인 자기지도 미세 조정을 위해 필수적임을 확인하였으며, 저품질의 가짜 이미지는 성능 저하를 초래함을 보였다.