[논문 리뷰] Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising

Yaochen Xie, Zhengyang Wang외 1명|arXiv (Cornell University)|2020. 10. 22.

Image and Signal Denoising Methods참고 문헌 24인용 수 40

한 줄 요약

Noise2Same은 J-불변성이나 노이즈 모델을 필요로 하지 않는 자체 감독 denoising 손실을 도입하고, 학습을 감독하기 위한 상한값을 도출하여 기존의 자체 감독 방법들을 능가합니다.

ABSTRACT

Self-supervised frameworks that learn denoising models with merely individual noisy images have shown strong capability and promising performance in various image denoising tasks. Existing self-supervised denoising frameworks are mostly built upon the same theoretical foundation, where the denoising models are required to be J-invariant. However, our analyses indicate that the current theory and the J-invariance may lead to denoising models with reduced performance. In this work, we introduce Noise2Same, a novel self-supervised denoising framework. In Noise2Same, a new self-supervised loss is proposed by deriving a self-supervised upper bound of the typical supervised loss. In particular, Noise2Same requires neither J-invariance nor extra information about the noise model and can be used in a wider range of denoising applications. We analyze our proposed Noise2Same both theoretically and experimentally. The experimental results show that our Noise2Same remarkably outperforms previous self-supervised denoising methods in terms of denoising performance and training efficiency. Our code is available at https://github.com/divelab/Noise2Same.

연구 동기 및 목표

• 개별 노이즈가 포함된 이미지들을 사용하는 자체 감독 디노이징 방법에서 J-불변성의 한계에 대한 동기 부여와 분석.
• J-불변성과 노이즈모델 요건을 완화하면서 전체 입력 정보를 활용하는 새로운 자체 감독 손실을 제안한다.
• 이론적으로 감독 디노이징 손실을 자체 감독 상한으로 상한화하고 실험적으로 검증한다.
• 사후 처리 없이 다양한 데이터 세트에서 디노이징 성능 및 학습 효율성의 향상을 입증한다.

제안 방법

• J-불변성을 가정하지 않아도 성립하는 감독 손실의 자체 감독 상한을 도출한다.
• 완전 입력에 대한 재구성 MSE와 마스킹된 입력 대 전체 입력 출력에서 계산된 불변성 대리항의 제곱근으로 이루어진 두 항 손실을 제안한다.
• 이미지에서 J를 샘플링하여 불변성 측정치를 계산하지만 네트워크가 엄밀히 J-불변일 필요는 없다.
• 불변성 강도를 제어하고 노이즈 수준에 적응하기 위해 weight lambda_inv(기본값 2)로 항들을 균형 있게 조정한다.
• 이론적 타당성(정리 1 및 정리 2)과 경험적 분석을 제공하여 불변성 강도와 노이즈 강도의 관계를 제시한다.
• 마스크 기반 블라인드 스팟 방법 및 베이지안 사후처리와 비교하여 노이즈 모델 지식 없이도 더 넓은 적용성을 강조한다.

실험 결과

연구 질문

• RQ1 J-불변성과 알려진 노이즈 모델이 필요하지 않은 자체 감독 디노이징 손실을 도출할 수 있는가?
• RQ2 보정된 불변성 항을 도입하는 것이 다양한 데이터셋에서 자체 감독 디노이징 성능과 학습 효율성을 향상시키는가?
• RQ3 알 수 없거나 혼합되었거나 노이즈 조건이 알려지지 않은 상황에서 Noise2Same은 기존 자체 감독 방법에 비해 어떻게 성능을 보이는가?
• RQ4 사후처리 없이 전체 입력 정보를 얼마나 활용하여 감독 디노이징과의 차이를 좁힐 수 있는가?

주요 결과

• Noise2Same은 PSNR 측면에서 ImageNet, HanZi, Planaria, BSD68 데이터셋에서 기존의 자체 감독 디노이징 방법들을 지속적으로 능가한다.
• 전체 입력 재구성 및 불변성 대리항으로 이루어진 두 항 손실이 순수 재구성 기반 자체 감독보다 더 나은 성능을 낸다.
• lambda_inv로 조정 가능한 불변성 항은 노이즈 강도와 데이터셋 특성에 맞춰 적응하도록 도와 이론적 상한과 일치한다.
• 마스크 기반 블라인드 스팟 방법은 실제로는 엄밀히 J-불변이 아닐 수 있으며, 엄밀한 J-불변성이 항상 디노이징 성능에 최적은 아니다.
• 노이즈 모델 사후처리 없이도 Noise2Same은 합성곱 블라인드 스팟 네트워크에 비견될 만큼의 경쟁력 있는 학습 효율성을 달성한다.
• 알 수 없거나 혼합된 노이즈가 있는 데이터셋에서 Noise2Same은 노이즈 모델 정보를 필요로 하는 베이지안 사후처리 방법보다 더 넓은 적용성을 제공한다.