[논문 리뷰] Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

Huanjing Yue, Cong Cao외 3명|arXiv (Cornell University)|2020. 03. 31.

Image and Signal Denoising Methods참고 문헌 45인용 수 7

한 줄 요약

이 논문은 ISO 1600–25600 범위에서 촬영한 55개의 동적 노이지-클리어 비디오 쌍으로 구성된 새로운 벤치마크 데이터셋을 활용하여, 원시 비디오 노이즈 제거를 위한 지도 학습 방법인 RViDeNet을 제안한다. 바이어 패턴을 가진 원시 비디오를 RGBG 하위 시퀀스로 분해하고, 비국소 주의 메커니즘과 시간적 융합을 통해 공간적, 채널적, 시간적 상관관계를 활용함으로써, 원시 및 sRGB 도메인 모두에서 최신 기술을 초월하는 성능을 달성하였으며, 기존의 영상 및 비디오 노이즈 제거 모델보다 PSNR 기준 최대 1.12 dB 향상되었다.

ABSTRACT

In recent years, the supervised learning strategy for real noisy image denoising has been emerging and has achieved promising results. In contrast, realistic noise removal for raw noisy videos is rarely studied due to the lack of noisy-clean pairs for dynamic scenes. Clean video frames for dynamic scenes cannot be captured with a long-exposure shutter or averaging multi-shots as was done for static images. In this paper, we solve this problem by creating motions for controllable objects, such as toys, and capturing each static moment for multiple times to generate clean video frames. In this way, we construct a dataset with 55 groups of noisy-clean videos with ISO values ranging from 1600 to 25600. To our knowledge, this is the first dynamic video dataset with noisy-clean pairs. Correspondingly, we propose a raw video denoising network (RViDeNet) by exploring the temporal, spatial, and channel correlations of video frames. Since the raw video has Bayer patterns, we pack it into four sub-sequences, i.e RGBG sequences, which are denoised by the proposed RViDeNet separately and finally fused into a clean video. In addition, our network not only outputs a raw denoising result, but also the sRGB result by going through an image signal processing (ISP) module, which enables users to generate the sRGB result with their favourite ISPs. Experimental results demonstrate that our method outperforms state-of-the-art video and raw image denoising algorithms on both indoor and outdoor videos.

연구 동기 및 목표

• 동적 장면에 대한 실제 노이지-클리어 비디오 쌍의 부족으로 인해 원시 비디오 노이즈 제거에서 지도 학습이 어려운 문제를 해결하기 위해.
• 원시 비디오에서 시간적, 공간적, 채널적 상관관계를 효과적으로 활용하여 뛰어난 노이즈 제거 성능을 달성하는 방법을 개발하기 위해.
• 통합된 ISP 모듈을 통해 원시 노이즈 제거 결과와 sRGB 결과를 동시에 생성함으로써 출력의 유연성을 확보하기 위해.
• 향후 원시 비디오 노이즈 제거 분야의 연구를 위해 재현 가능하고 정량적으로 평가 가능한 벤치마크를 구축하기 위해.

제안 방법

• 저자들은 정적 순간에 대해 고감도 노출을 여러 번 촬영하고 평균을 내어 클리어 프레임를 생성함으로써, 물리적 운동을 제어하여 벤치마크 데이터셋을 수작업으로 구축한다.
• 원시 비디오는 바이어 패턴의 구조를 유지하고 각 시퀀스별 처리를 가능하게 하기 위해 네 개의 RGBG 하위 시퀀스로 분할된다.
• RViDeNet 아키텍처는 사전 노이즈 제거, 프레임 정렬, 비국소 주의, 시간적 융합 모듈을 적용하여 프레임 간 공간-시간 상관관계를 활용한다.
• 비국소 주의 메커니즘은 공간적, 채널적, 시간적 차원에 걸쳐 적용되어 원시 비디오 데이터의 장거리 의존성을 모델링한다.
• 노이즈 제거된 RGBG 시퀀스는 공간적으로 융합되고, 학습 가능한 ISP 모듈을 통과하여 sRGB 출력을 생성하며, 사용자 맞춤 설정이 가능하다.
• 네트워크는 실제 노이지-클리어 비디오 쌍을 기반으로 엔드 투 엔드로 학습되며, 원시 및 sRGB 모두에 대한 지도 학습을 통해 노이즈 제거와 색상 정확성의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제 동적 장면의 노이지-클리어 비디오 쌍을 기반으로 지도 학습을 수행할 경우, 뛰어난 비디오 노이즈 제거 성능을 달성할 수 있는가?
• RQ2 원시 비디오의 공간-시간적 및 채널별 상관관계를 얼마나 효과적으로 활용할 수 있으며, 이는 단일 프레임 또는 sRGB 기반 방법을 초월하는 노이즈 제거 성능을 가능하게 하는가?
• RQ3 제안된 RViDeNet이 정량적 및 정성적 지표 모두에서 최신 기술 대비 얼마나 뛰어난 성능을 보이는가?
• RQ4 유연한 ISP 모듈의 통합을 통해 사용자는 재학습 없이도 선호하는 sRGB 출력을 생성할 수 있는가?
• RQ5 모델이 합성 데이터로 미세조정되었을 때의 일반화 능력은 어떠하며, 실세계 저조도 장면에서도 성능을 유지하는가?

주요 결과

• 실제 정답이 있는 실내 비디오에서 RViDeNet은 원시 도메인에서 PSNR 43.97, SSIM 0.9874를 기록하였으며, 다음으로 우수한 성능을 보인 DIDN보다 PSNR 기준 0.72 dB 향상되었다.
• sRGB 도메인에서는 PSNR 39.95, SSIM 0.9792를 달성하여 DIDN보다 1.12 dB, EDVR보다 거의 1 dB 향상되었다.
• 제거 분석 결과, 실제 데이터로 학습된 전체 RViDeNet 모델은 합성 데이터로만 학습된 변형(Ours⁻)보다 유의미하게 뛰어난 성능을 보이며, 효과적인 일반화 능력을 입증했다.
• 시각적 비교 결과, RViDeNet은 EDVR 및 DIDN과 달리 과도하게 부드러워지는 결과 없이 노이즈를 효과적으로 제거하면서 미세한 디테일을 유지하고 시간적 일관성을 확보함을 확인했다.
• 실제 정답이 없는 실외 비디오에 대한 사용자 연구 결과, RViDeNet은 더 시각적으로 매력적인 결과를 생성하며 텍스처 복구 능력과 플리커 감소 효과가 뛰어나다고 평가되었다.
• ISO 1600–25600 범위의 55개의 동적 비디오 시퀀스로 구성된 제안된 데이터셋은 지도 학습 기반 원시 비디오 노이즈 제거를 위한 첫 번째 실세계 벤치마크를 제공하며, 재현 가능한 평가를 가능하게 한다.