[논문 리뷰] Spatially Adaptive Self-Supervised Learning for Real-World Image Denoising

Junyi Li, Zhilu Zhang외 5명|arXiv (Cornell University)|2023. 03. 27.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 실세계 sRGB 이미지의 노이즈 제거를 위한 공간적으로 적응형 자기지도 학습 프레임워크를 제안한다. 평탄한 영역과 무늬가 있는 영역을 별도로 처리하기 위해 평탄한 영역에는 블라인드 이웃망(BNN)을, 무늬가 있는 영역에는 국소 인지망(LAN)을 사용한다. 평탄한 영역에서는 비접근성 픽셀에서 노이즈 불변 supervision을 유도하고, 무늬가 있는 영역에서는 인접 픽셀에서 콘텐츠 인지 supervision을 유도함으로써, 픽셀 셔플 다운샘플링 없이도 SIDD 및 DND 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 앨리어싱 아티팩트를 피하고 정량적 지표와 주관적 품질을 모두 향상시킨다.

ABSTRACT

Significant progress has been made in self-supervised image denoising (SSID) in the recent few years. However, most methods focus on dealing with spatially independent noise, and they have little practicality on real-world sRGB images with spatially correlated noise. Although pixel-shuffle downsampling has been suggested for breaking the noise correlation, it breaks the original information of images, which limits the denoising performance. In this paper, we propose a novel perspective to solve this problem, i.e., seeking for spatially adaptive supervision for real-world sRGB image denoising. Specifically, we take into account the respective characteristics of flat and textured regions in noisy images, and construct supervisions for them separately. For flat areas, the supervision can be safely derived from non-adjacent pixels, which are much far from the current pixel for excluding the influence of the noise-correlated ones. And we extend the blind-spot network to a blind-neighborhood network (BNN) for providing supervision on flat areas. For textured regions, the supervision has to be closely related to the content of adjacent pixels. And we present a locally aware network (LAN) to meet the requirement, while LAN itself is selectively supervised with the output of BNN. Combining these two supervisions, a denoising network (e.g., U-Net) can be well-trained. Extensive experiments show that our method performs favorably against state-of-the-art SSID methods on real-world sRGB photographs. The code is available at https://github.com/nagejacob/SpatiallyAdaptiveSSID.

연구 동기 및 목표

• 기존 자기지도 학습 이미지 노이즈 제거(SSID) 방법이 실세계 sRGB 이미지의 공간적으로 상관관계가 있는 노이즈를 다루는 데에 한계가 있음을 해결하기 위해.
• 픽셀 셔플 다운샘플링의 단점을 극복하기 위해, 이는 이미지 정보를 손상시키고 앨리어싱 아티팩트를 유발하기 때문이다.
• 청결한-노이즈 쌍이 필요 없이 국소 이미지 특성(평탄한 영역 대비 무늬가 있는 영역)에 따라 supervision을 적응적으로 조정하는 방법을 개발하기 위해.
• 비접근성 픽셀과 인접 픽셀에서 각각 공간적으로 적응형 supervision을 활용함으로써 노이즈 제거 성능과 효율성을 향상시키기 위해.
• 이중 supervision(콘텐츠 인지 및 노이즈에 강건한)을 사용하여 U-Net 기반 노이즈 제거 네트워크를 훈련하기 위해.

제안 방법

• 노이즈 상관 픽셀을 제외하기 위해 블라인드 스팟 네트워크(BSN)를 확장한 블라인드 이웃망(BNN)을 도입하여 평탄한 영역에서 신뢰할 수 있는 supervision을 가능하게 한다.
• BNN 출력을 평탄한 영역를 감지하는 데 사용하기 위해 고분산을 기반으로 하며, 이는 이후 국소 인지망(LAN)의 supervision으로 사용된다.
• 인접 픽셀을 활용하여 무늬 세부 정보를 복원하는 국소 인지망(LAN)을 제안하며, 평탄한 영역에서는 BNN 출력에 의해 선택적으로 supervision이 이뤄진다.
• 공간적으로 BNN과 LAN 출력을 융합하기 위해 적응형 계수 α를 사용하여 국소 이미지 구조를 존중하는 하이브리드 supervision 신호를 생성한다.
• 융합된 공간 적응형 supervision 신호를 사용하여 U-Net 기반 노이즈 제거 네트워크를 훈련하며, 추론 시 BNN과 LAN은 분리된다.
• 학습된 α를 통한 공간 적응형 융합 전략을 적용하여 이미지 수준의 융합을 피함으로써 성능 저하와 추론 시간 증가를 방지한다.

실험 결과

연구 질문

• RQ1 공간적으로 상관관계가 있는 노이즈가 있는 실세계 sRGB 이미지에서, 공간적으로 적응형 supervision은 자기지도 학습 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 자기지도 학습 노이즈 제거 프레임워크에서 평탄한 영역와 무늬가 있는 영역를 어떻게 구분하고 별도로 처리할 수 있는가?
• RQ3 블라인드 이웃망은 이미지 구조를 손상시키지 않고 평탄한 영역에서 노이즈 상관성을 효과적으로 억제할 수 있는가?
• RQ4 국소 인지망은 평탄한 영역에서의 적응형 supervision을 기반으로 인접 픽셀을 활용하여 무늬 세부 정보를 복원할 수 있는가?
• RQ5 공간적으로 적응형 supervision 융합은 이미지 수준 융합에 비해 노이즈 제거 품질과 추론 효율성 측면에서 뛰어나게 작용하는가?

주요 결과

• 제안된 방법은 DND 데이터셋에서 PSNR 37.39 dB를 달성하여, CVF-SID 및 AP-BSN+R3와 같은 최신 기술 수준의 자기지도 학습 방법을 초월한다.
• 제거 분석 결과, BNN과 LAN supervision을 병합한 조합이 최고 성능(37.39 dB)을 내며, 개별 구성 요소도 기여가 크다는 것이 확인되었다.
• BNN에 최적의 블라인드 이웃 크기는 9×9이며, 이는 모든 노이즈 상관 픽셀을 효과적으로 제외하면서도 신호 무결성을 유지한다.
• 국소 인지망(LAN)은 3×3 국소 수용장역을 사용할 경우 최고 성능를 보이며, 세부 정보 복원과 블러 방지를 균형 있게 유지한다.
• 공간적으로 적응형 융합 전략은 추론 시간을 4.8 ms로 줄여 이미지 수준 융합(22.9 ms)보다 빠르게 하며, PSNR를 0.55 dB 향상시킨다.
• 시각적 비교 결과, 제안된 방법은 기준 방법 대비 더 깔끔한 결과를 내며, 미세한 무늬를 더 잘 보존하고 블러를 줄였다.