[논문 리뷰] Training Deep Learning Based Denoisers without Ground Truth Data

Shakarim Soltanayev, Se Young Chun|arXiv (Cornell University)|2018. 03. 04.

Image and Signal Denoising Methods참고 문헌 58인용 수 22

한 줄 요약

이 논문은 노이즈 없는 참값 이미지가 필요 없이, 알려진 가우시안 노이즈를 가진 노이즈 있는 훈련 데이터만을 사용하여 딥 네ural 네트워크(DNN) 디노이징 기법을 훈련시키기 위한 스텐의 무편향 리스크 추정기(SURE) 기반 방법을 제안한다. 이 방법은 참값이 있는 모델과 유사한 디노이징 성능을 달성할 수 있으며, 개별 테스트 이미지에 대해 SURE 기반 정밀 조정 단계를 추가로 적용하여 BM3D, 딥 이미지 프라이어, 그리고 종종 참값이 있는 모델보다도 뛰어난 성능을 내고 있다.

ABSTRACT

Recently developed deep-learning-based denoisers often outperform state-of-the-art conventional denoisers such as the BM3D. They are typically trained to minimize the mean squared error (MSE) between the output image of a deep neural network (DNN) and a ground truth image. Thus, it is important for deep-learning-based denoisers to use high quality noiseless ground truth data for high performance. However, it is often challenging or even infeasible to obtain noiseless images in some applications. Here, we propose a method based on Stein's unbiased risk estimator (SURE) for training DNN denoisers based only on the use of noisy images in the training data with Gaussian noise. We demonstrate that our SURE-based method, without the use of ground truth data, is able to train DNN denoisers to yield performances close to those networks trained with ground truth for both grayscale and color images. We also propose a SURE-based refining method with a noisy test image for further performance improvement. Our quick refining method outperformed conventional BM3D, deep image prior, and often the networks trained with ground truth. Potential extension of our SURE-based methods to Poisson noise model was also investigated.

연구 동기 및 목표

• 의료 영상 및 원격 감시 영상과 같이 노이즈 없는 참값 이미지가 확보되기 어려운 경우, 딥 러닝 기반 디노이징 모델을 훈련시키는 데 도전하는 문제를 해결하기 위해.
• 쌍화된 청소년-노이즈 이미지가 필요 없이, 노이즈 있는 이미지와 알려진 노이즈 분산만을 사용하여 DNN 디노이징 모델을 비지도 훈련하는 방법을 개발하기 위해.
• 추가적인 참값이 필요 없이 개별 테스트 이미지에 대해 SURE 기반 정밀 조정을 통해 디노이징 성능을 향상시키는 방법을 도입하기 위해.
• 가우시안 노이즈 외의 비가우시안 노이즈 모델, 예를 들어 포아송 노이즈에까지 SURE 기반 훈련의 적용 가능성을 확장하기 위해.

제안 방법

• 참값 이미지에 접근할 수 없더라도, 딥 네트워크 출력과 진짜 청소년 이미지 간의 평균 제곱 오차(MSE)를 추정하기 위해 스텐의 무편향 리스크 추정기(SURE)를 활용한다.
• SURE를 손실 함수로 사용하여, 참값이 없는 상태에서 노이즈 있는 이미지와 알려진 노이즈 분산만을 사용하여 DNN를 엔드 투 엔드로 최적화한다.
• 비지도 훈련 환경에서 디노이징 네트워크를 통해 역전파를 가능하게 하기 위해 SURE 기반 기울기의 몬테카를로 근사를 적용한다.
• 미리 훈련된 DNN를 단일 노이즈 있는 테스트 이미지에서 SURE 기반 정밀 조정(SURE-FT) 방법으로 보정하여, 이미지 고유의 구조에 맞게 적응함으로써 성능을 향상시킨다.
• 노이즈 분포를 모델링하고 일반화된 SURE를 적용하여 포아송 노이즈에 대한 확장 가능성을 입증함으로써, 가우시안 노이즈 외의 노이즈 모델로의 적용 가능성을 넓힌다.
• SURE 최적화 목표에서의 발산을 방지하기 위해 가중치 감소와 아키텍처 제약 조건을 사용하여 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 노이즈 있는 데이터와 알려진 노이즈 통계만을 사용하여, 어떤 청소년 기반 참값 이미지도 없이 딥 네트워크 기반 디노이징 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 SURE 기반 훈련이 참값 데이터로 훈련된 네트워크와 유사한 디노이징 성능을 달성할 수 있는가?
• RQ3 단일 테스트 이미지에 대해 SURE 기반 정밀 조정 단계를 추가로 적용하면, 일반적인 훈련 방식을 뛰어넘어 디노이징 품질을 더욱 향상시킬 수 있는가?
• RQ4 SURE 기반 프레임워크는 포아송 노이즈와 같은 비가우시안 노이즈 모델로까지 확장 가능한가?

주요 결과

• 제안된 SURE 기반 훈련 방법은 어떤 노이즈 없는 이미지도 확보하지 못한 상태에서도, 참값이 있는 DNN 모델과 유사한 디노이징 성능을 달성한다.
• SURE-FT 정밀 조정 방법은 기존의 BM3D와 딥 이미지 프라이어를 뛰어넘고, 그 외에도 일반적으로 참값 기반으로 훈련된 모델보다도 더 뛰어난 성능을 보이며, 회색조 및 컬러 이미지 모두에서 뛰어난 결과를 내고 있다.
• 포아송 노이즈의 경우, SURE 기반 훈련 프레임워크는 타당성과 효과성을 입증하여, 가우시안 노이즈 외의 노이즈 유형으로의 적용 가능성을 넓혔다.
• 이 방법은 다양한 이미지 유형과 노이즈 수준에 대해 강건하며, 의료 영상 및 고스펙트럼 영상과 같은 도전적인 실생활 영상 환경에서도 성능 향상이 관찰되었다.
• SURE-FT 방법은 대규모 사전 훈련에서의 일반화 능력과 단일 노이즈 입력만을 사용한 이미지 고유의 적응 능력을 결합하여 최신 기술 수준의 성능을 달성한다.
• 딥 이미지 프라이어와 같이 특수한 설계(예: U-Net)가 필요한 방법들과 달리, 복잡한 네트워크 아키텍처나 하이퍼파라미터 튜닝이 필요 없이도 이 방법은 효과를 발휘한다.