[논문 리뷰] Adversarial Distortion Learning for Medical Image Denoising

Morteza Ghahremani, Mohammad Khateri외 2명|arXiv (Cornell University)|2022. 04. 29.

Image and Signal Denoising Methods인용 수 10

한 줄 요약

이 논문은 2D/3D 의료 영상의 노이즈 제거를 위한 새로운 딥러닝 프레임워크인 적대적 왜곡 학습(ADL)을 제안한다. 이 프레임워크는 경량의 Efficient-Unet 아키텍처를 사용하며, 노이즈 제거기와 판별기로 구성된 이중 오토인코더 구조를 취하고, 이들이 적대적으로 학습된다. 이 방법은 재학습 없이도 다양한 생물의학적 데이터셋(MRI, 피부내시경, 전자현미경, X-ray)에서 최신 기술 수준(SOTA)의 성능을 달성하며, 새로운 데이터 유형에 대해 재학습이 필요하지 않다. 또한 새로운 피라미드형 및 히스토GRAM 기반 손실 함수를 통해 고속 처리를 유지하면서도 질감과 대비를 잘 보존한다.

ABSTRACT

We present a novel adversarial distortion learning (ADL) for denoising two- and three-dimensional (2D/3D) biomedical image data. The proposed ADL consists of two auto-encoders: a denoiser and a discriminator. The denoiser removes noise from input data and the discriminator compares the denoised result to its noise-free counterpart. This process is repeated until the discriminator cannot differentiate the denoised data from the reference. Both the denoiser and the discriminator are built upon a proposed auto-encoder called Efficient-Unet. Efficient-Unet has a light architecture that uses the residual blocks and a novel pyramidal approach in the backbone to efficiently extract and re-use feature maps. During training, the textural information and contrast are controlled by two novel loss functions. The architecture of Efficient-Unet allows generalizing the proposed method to any sort of biomedical data. The 2D version of our network was trained on ImageNet and tested on biomedical datasets whose distribution is completely different from ImageNet; so, there is no need for re-training. Experimental results carried out on magnetic resonance imaging (MRI), dermatoscopy, electron microscopy and X-ray datasets show that the proposed method achieved the best on each benchmark. Our implementation and pre-trained models are available at https://github.com/mogvision/ADL.

연구 동기 및 목표

• 기존의 노이즈 제거 방법이 생물의학적 영상에서 질감과 대비를 잘 유지하지 못하는 데서 비롯된 한계를 해결하기 위해.
• 새로운 생물의학적 영상 유형에 대해 재학습이 필요 없는 일반화 능력이 뛰어난 노이즈 제거 모델을 개발하기 위해.
• 2D 및 3D 의료 영상에서 높은 노이즈 제거 품질을 유지하면서도 계산 부담을 줄이기 위해.
• 입력 데이터의 노이즈 분포에 대한 사전 지식이 필요 없도록 하기 위해.
• 딥 네트워크에서의 기울기 소실 문제를 완화함으로써 학습 안정성과 수렴 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 노이즈 제거기와 판별기를 포함하는 생성적 적대적 네트워크(GAN) 아키텍처를 사용하며, 둘 다 제안된 Efficient-Unet 아키텍처에 기반한다.
• Efficient-Unet은 피라미드형 잔차 백본을 사용하여 다양한 척도에서 특징 일관성을 계층적으로 강제함으로써 특징 재사용과 표현력을 향상시킨다.
• 질감을 유지하면서 비질감 영역에서 노이즈 증폭을 억제하기 위해 '알고리즘 애 드로' (ATW) 기반의 새로운 피라미드형 손실 함수를 도입한다.
• 기준(참값) 영상의 외관과 대비를 노이즈 제거 출력에서 유지하기 위해 히스토GRAM 기반 손실 함수를 제안한다.
• 콘텐츠 강화 블록은 인코더에 통합되어 학습 안정성과 수렴 속도를 향상시키며, 특히 낮은 노이즈 수준에서 효과적이다.
• 모델은 쌍체의 노이즈 있는 영상과 정제된 영상 데이터를 사용해 지도 학습 방식으로 학습되며, 판별기는 실제 정제된 영상과 노이즈 제거 출력을 구분하도록 학습된다.

실험 결과

연구 질문

• RQ1 표준 손실 함수와 비교해 볼 때, 적대적 학습 기반 기법이 의료 영상 노이즈 제거에서 질감과 대비 유지에 얼마나 효과적인가?
• RQ2 Efficient-Unet과 같은 경량이고 일반화 능력이 뛰어난 네트워크가 도메인 특화 보정 없이 다양한 생물의학적 영상 도메인에서 얼마나 잘 작동하는가?
• RQ3 제안된 피라미드형 손실 함수는 다중 척도의 질감 특징을 얼마나 잘 보존하면서도 노이즈를 효과적으로 억제하는가?
• RQ4 히스토GRAM 기반 손실 함수가 노이즈 제거 영상의 시각적 정확도와 외관 일관성에 얼마나 기여하는가?
• RQ5 콘텐츠 강화 블록이 낮은 노이즈 수준에서 기울기 소실 문제를 효과적으로 완화하고 학습 수렴을 향상시키는 데 기여하는가?

주요 결과

• ADL는 MRI, 피부내시경, 전자현미경, X-ray 데이터셋을 포함한 모든 테스트 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성했으며, PSNR와 구조적 유사도 측면에서 기존 방법들을 능가했다.
• ImageNet에서 사전학습된 2D ADL 버전은 생물의학적 데이터셋과 분포상 겹침이 없는 조건에서도 효과적으로 일반화되었으며, 강력한 제로샷 전이 능력을 보였다.
• 2D 데이터의 경우 파라미터 수가 4.75M, 3D 데이터의 경우 14.8M이며, GFLOPs는 각각 2.1 GFLOPs와 121 GFLOPs로, SwinIR 및 BM4D 대비 상당히 계산 비용을 절감했다.
• 제거 분석 결과, 피라미드형 손실 함수가 PSNR를 뚜렷이 향상시켰으며, 히스토GRAM 기반 손실 함수를 추가로 적용함으로써 영상 품질과 인지적 정확도가 더욱 향상됨을 확인했다.
• 콘텐츠 강화 블록은 낮은 노이즈 수준(σ < 10)에서 노이즈 제거 출력과 강한 상관관계를 보였으며, 이는 학습 안정성 향상과 수렴 속도 향상에 기여함을 확인했다.
• 2D 영상 처리 시간은 143ms, 3D MRI 영상 처리 시간은 14.6초로, BM4D(597.6초)와 SwinIR(539ms)를 능가하여 실시간 응용에 적합한 성능을 확보했다.