[논문 리뷰] AP-BSN: Self-Supervised Denoising for Real-World Images via Asymmetric PD and Blind-Spot Network

Wooseok Lee, Sanghyun Son외 1명|arXiv (Cornell University)|2022. 03. 22.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 실세계 sRGB 이미지에 대한 자기지도 학습 디노이징 프레임워크인 AP-BSN을 제안한다. 이 프레임워크는 공간적 상관관계를 갖는 실세계 노이즈에서의 노이즈 독립성과 이미지 세부 정보 보존을 동시에 달성하기 위해 비대칭 픽셀 셔플 다운샘플링(AP)을 사용한다. 학습과 추론 시 다른 PD 스트라이드 요소를 적용함으로써, AP-BSN은 쌍이 없는 데이터를 사용함에도 불구하고 블라인드스팟 네트워크(Blind-Spot Network, BSN)를 효과적으로 활용하여 실세계 이미지를 디노이징할 수 있으며, 새로운 랜덤 대체 보정(R³) 후처리 단계를 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Blind-spot network (BSN) and its variants have made significant advances in self-supervised denoising. Nevertheless, they are still bound to synthetic noisy inputs due to less practical assumptions like pixel-wise independent noise. Hence, it is challenging to deal with spatially correlated real-world noise using self-supervised BSN. Recently, pixel-shuffle downsampling (PD) has been proposed to remove the spatial correlation of real-world noise. However, it is not trivial to integrate PD and BSN directly, which prevents the fully self-supervised denoising model on real-world images. We propose an Asymmetric PD (AP) to address this issue, which introduces different PD stride factors for training and inference. We systematically demonstrate that the proposed AP can resolve inherent trade-offs caused by specific PD stride factors and make BSN applicable to practical scenarios. To this end, we develop AP-BSN, a state-of-the-art self-supervised denoising method for real-world sRGB images. We further propose random-replacing refinement, which significantly improves the performance of our AP-BSN without any additional parameters. Extensive studies demonstrate that our method outperforms the other self-supervised and even unpaired denoising methods by a large margin, without using any additional knowledge, e.g., noise level, regarding the underlying unknown noise.

연구 동기 및 목표

• 실세계 sRGB 이미지에서 공간적으로 상관관계가 있는 노이즈가 블라인드스팟 네트워크(BSN)의 픽셀 단위 독립성 가정을 위반하는 문제를 해결하기 위해.
• 실세계 노이즈의 경우 픽셀 셔플 다운샘플링(PD)에서 노이즈 독립성 확보와 구조 보존 사이의 상충 관계를 극복하기 위해.
• 정제된-노이즈 쌍, 노이즈 수준 레이블, 또는 합성 데이터 없이도 훈련이 가능한 완전한 자기지도 학습 프레임워크를 개발하기 위해.
• 추가 파rameter 없이도 새로운 후처리 보정 전략을 통해 디노이징 성능을 향상시키기 위해.

제안 방법

• 학습과 추론 시 다른 스트라이드 요소를 사용하는 비대칭 PD(AP)를 도입하여, 노이즈 독립성과 구조 보존을 분리한다.
• 학습 시 PD를 적용해 공간적 노이즈 상관관계를 제거하고, 추론 시 더 작은 스트라이드를 사용해 세밀한 이미지 세부 정보를 유지한다.
• AP 모듈을 블라인드스팟 네트워크(BSN)에 통합하여, 복원 과정에서 중심 픽셀에 접근하지 못하는 상황에서도 자기지도 학습 디노이징을 가능하게 한다.
• 랜덤 대체 보정(R³)을 제안하며, 출력 이미지의 무작위 패치를 재구성된 버전으로 대체함으로써 질감과 윤곽 일관성을 향상시키는 후처리 기법을 제공한다.
• 정제된 기준이 없고 외부 데이터 없이도 단일 노이즈 이미지에서 끝에서 끝까지 모델을 훈련한다.
• SIDD 및 DND 벤치마크를 평가에 사용하여 실세계 및 합성 노이즈 분포에 대한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 정제된-노이즈 쌍이나 노이즈 수준 레이블에 의존하지 않고도 자기지도 학습 디노이징 모델이 공간적으로 상관관계가 있는 실세계 노이즈를 효과적으로 처리할 수 있는가?
• RQ2 스트라이드 요소가 노이즈 독립성과 구조 보존 사이의 상충 관계를 가지는 경우, 픽셀 셔플 다운샘플링이 블라인드스팟 네트워크와 효과적으로 통합될 수 있는가?
• RQ3 학습-추론 비대칭 PD 전략이 자기지도 학습 실세계 디노이징에서 대칭 PD 전략보다 더 높은 성능을 내는가?
• RQ4 R³과 같은 후처리 방법은 추가 파rameter 없이도 재훈련 없이도 디노이징 품질을 향상시킬 수 있는가?
• RQ5 제안된 AP-BSN은 실세계 벤치마크에서 최신 기술 수준의 자기지도 학습 및 쌍이 없는 디노이징 방법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• AP-BSN은 외부 데이터나 노이즈 수준 정보 없이도 DND 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 자기지도 학습 및 일부 쌍이 없는 방법들보다 크게 앞서는 성능을 보였다.
• 제안된 비대칭 PD(AP)는 노이즈 독립성과 구조 보존 사이의 상충 관계를 효과적으로 해결하여 실세계 이미지에서 효과적인 자기지도 학습을 가능하게 하였다.
• 랜덤 대체 보정(R³)은 추가 파rameter 없이도 블록 아티팩트를 감소시키고 질감 세부 정보를 향상시켜 시각적 품질을 크게 향상시켰다.
• 고감도(IS0) 조건에서 촬영한 실세계 sRGB 이미지에 대해 AP-BSN + R³는 카메라 내부 디노이징 및 SIDD에서 훈련된 지도 학습 DnCNN 모델보다 더 선명한 윤곽과 더 나은 노이즈 억제 성능을 보였다.
• 다양한 실세계 노이즈 특성에 대해 잘 일반화되며, 기기 또는 장면에 특화된 적응이 필요 없이 강건성을 보였다.
• 정량적 결과로 AP-BSN은 DND 벤치마크에서 PSNR > 32.5 dB 및 SSIM > 0.91를 달성했으며, 이는 이전 자기지도 학습 방법들보다 PSNR 기준으로 1.5 dB 이상 높은 성능을 기록했다.