[논문 리뷰] IDR: Self-Supervised Image Denoising via Iterative Data Refinement

Yi Zhang, Dasong Li외 4명|arXiv (Cornell University)|2021. 11. 29.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

이 논문은 실수 및 합성 노이즈, 상관 노이즈를 포함한 실제 환경에서 상태최저 성능을 달성하는 자기지도 학습 이미지 노이즈 제거 방법인 IDR를 제안한다. 이 방법은 노이즈 모델과 점차 향상되는 학습 타겟을 사용하여 노이즈가 있는 이미지를 반복적으로 개선하며, 정제된 이미지 쌍이 필요하지 않다. 반복적 개선을 통해 데이터 분포 편향을 감소시켜 기존 비지도 학습 방법을 초월하고 일부 지도 학습 방법을 뛰어넘는 성능을 달성한다.

ABSTRACT

The lack of large-scale noisy-clean image pairs restricts supervised denoising methods' deployment in actual applications. While existing unsupervised methods are able to learn image denoising without ground-truth clean images, they either show poor performance or work under impractical settings (e.g., paired noisy images). In this paper, we present a practical unsupervised image denoising method to achieve state-of-the-art denoising performance. Our method only requires single noisy images and a noise model, which is easily accessible in practical raw image denoising. It performs two steps iteratively: (1) Constructing a noisier-noisy dataset with random noise from the noise model; (2) training a model on the noisier-noisy dataset and using the trained model to refine noisy images to obtain the targets used in the next round. We further approximate our full iterative method with a fast algorithm for more efficient training while keeping its original high performance. Experiments on real-world, synthetic, and correlated noise show that our proposed unsupervised denoising approach has superior performances over existing unsupervised methods and competitive performance with supervised methods. In addition, we argue that existing denoising datasets are of low quality and contain only a small number of scenes. To evaluate raw image denoising performance in real-world applications, we build a high-quality raw image dataset SenseNoise-500 that contains 500 real-life scenes. The dataset can serve as a strong benchmark for better evaluating raw image denoising. Code and dataset will be released at https://github.com/zhangyi-3/IDR

연구 동기 및 목표

• 실제 응용 분야에서 지도 학습을 위한 대규모 노이즈-정제 이미지 쌍의 부족 문제를 해결하기 위해.
• 기존 비지도 노이즈 제거 방법의 한계를 극복하기 위해, 예를 들어 쌍화된 노이즈 이미지가 필요한 비현실적인 데이터 설정을 요구하지 않는 방법을 개발하기 위해.
• 단일 노이즈 이미지와 노이즈 모델만을 사용하는 실용적인 자기지도 학습 노이즈 제거 프레임워크를 개발하기 위해. 이는 실제 라우드 이미지 처리에서 흔한 상황이다.
• 합성된 더 노이즈가 많은 이미지-노이즈 데이터셋과 실제 정제된-노이즈 데이터 간의 분포 이탈(데이터 편향)을 반복적 개선을 통해 감소시키기 위해.
• 실제 라우드 이미지 노이즈 제거를 위한 고품질 벤치마크 데이터셋을 구축하여 더 신뢰할 수 있는 평가를 가능하게 하기 위해.

제안 방법

• 기존의 노이즈가 있는 이미지에 알려진 노이즈 모델을 사용해 합성 노이즈를 추가하여 더 노이즈가 많은-노이즈 이미지 쌍의 데이터셋을 구성한다. 이 결과 이미지를 입력으로, 원래의 노이즈가 있는 이미지를 타겟으로 간주한다.
• 노이즈 제거 네트워크를 더 노이즈가 많은-노이즈 데이터셋에서 학습하고, 이를 사용해 원래의 노이즈가 있는 이미지를 정제하여 다음 반복에 사용할 개선된 타겟을 생성한다.
• 반복적 과정을 통해 합성 학습 분포와 이상적인 정제-노이즈 분포 간의 데이터 편향을 감소시키며, 점차적으로 모델 성능을 향상시킨다.
• 효율성을 높이기 위해 반복 단계당 학습 에포크 수를 줄인 빠른 변종인 IDR를 제안한다. 이는 높은 성능를 유지하면서도 성능을 향상시킨다.
• 노이즈가 더 심한-노이즈 데이터에서 학습한 모델이 실제 노이즈가 있는 이미지를 정제하는 데 일반화될 수 있다는 경험적 발견을 활용한다.
• 500개의 다양한 저조도 장면과 고정밀 지상 진실 데이터를 포함하는 새로운 고품질 라우드 이미지 노이즈 제거 데이터셋인 SenseNoise-500을 구축하였다.

실험 결과

연구 질문

• RQ1 분포 이탈이 존재함에도 불구하고, 합성된 더 노이즈가 많은-노이즈 이미지 쌍에서 학습한 노이즈 제거 모델이 실제 노이즈가 있는 이미지에 일반화될 수 있는가?
• RQ2 모델 예측을 통해 학습 타겟을 반복적으로 개선함으로써 데이터 편향을 줄이고 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ3 단일 노이즈 이미지와 노이즈 모델만을 사용하는 자기지도 학습 노이즈 제거가 지도 학습 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 동일한 노이즈 모델을 사용해 합성 데이터에서 학습한 경우, 비지도 노이즈 제거 방법의 성능가 지도 학습 방법의 성능는 어떻게 비교되는가?
• RQ5 데이터셋의 콘텐츠 편향이 지도 학습과 비지도 학습 노이즈 제거 방법 간의 성능 격차에 어느 정도 기여하는가?

주요 결과

• IDR는 실제 환경 및 합성 노이즈, 스트라이프 및 다중 노이즈와 같은 상관 노이즈 유형을 포함한 모든 노이즈 타입에서 기존 비지도 학습 방법을 능가한다.
• SID 라우드 데이터셋에서 IDR는 평균 PSNR 34.17 dB를 기록했으며, 이는 처리되지 않은 sRGB 이미지에서 학습한 지도 학습 방법(34.68 dB)을 뛰어넘는 성능이다. 이는 자기지도 학습만을 사용한 결과이다.
• 고품질의 콘텐츠가 일치하는 학습 데이터를 사용할 경우, 비지도 학습과 지도 학습 간의 성능 격차는 여전히 존재하지만, 상당히 감소한다.
• 반복적 개선 과정은 데이터 분포 편향을 효과적으로 감소시키며, 매 반복마다 점차 향상된 노이즈 제거 모델을 도출한다.
• 500개의 실제 생활 장면과 정렬된 지상 진실 데이터를 포함하는 새로운 고품질 데이터셋인 SenseNoise-500은 실생활 라우드 이미지 노이즈 제거 평가를 위한 견고한 벤치마크를 제공한다.
• 정성적 결과에서는 IDR가 특히 저조도 조건에서 더 많은 질감과 색상을 복원하면서도 고수준의 노이즈 제거 품질을 유지함을 보여준다.