[논문 리뷰] Dancing under the stars: video denoising in starlight

Kristina Monakhova, Stephan R. Richter외 2명|arXiv (Cornell University)|2022. 04. 08.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 0.001 룩스 이하의 별빛 조건(스타라이트)에서 GAN으로 조정된 물리 기반 노이즈 모델을 사용하여 실사적인 저조도 노이즈를 시뮬레이션함으로써, 처음으로 실사적인 동영상 노이즈 제거를 제안한다. 노이즈 생성기에서 생성한 합성 노이즈 동영상와 동일한 카메라에서 촬영한 실제 고감도 정지 이미지 버스트를 조합하여 훈련한 동영상 노이즈 제거기로, 0.001 룩스 이하의 조건에서도 뛰어난 시간적 일致성과 세부 정보 유지 성능을 달성하여, 은하수 아래에서 움직이는 대상의 명확한 동영상을 가능하게 한다.

ABSTRACT

Imaging in low light is extremely challenging due to low photon counts. Using sensitive CMOS cameras, it is currently possible to take videos at night under moonlight (0.05-0.3 lux illumination). In this paper, we demonstrate photorealistic video under starlight (no moon present, $

연구 동기 및 목표

• 극도의 저조도 조건, 특히 0.001 룩스 이하의 별빛 수준에서 실사적인 동영상 노이즈 제거를 가능하게 하기.
• 伝통적인 노이즈 제거 방법이 실패하는 고감도 저조도 촬영에서의 비정규분포이자 센서 고유의 노이즈 문제를 해결하기.
• 운동 정렬이 필요한 청소 및 노이즈가 섞인 동영상 쌍이 필요 없이, 정지 이미지 버스트와 합성 동영상을 활용한 데이터 효율적인 훈련 파이프라인 개발하기.
• 달 없는 밤 조건에서 5~10 fps의 동적 장면을 촬영하고 노이즈 제거하는 것이 가능함을 입증하기.

제안 방법

• 한정된 수의 장노출 및 단노출 정지 이미지 쌍을 사용하여, 카메라의 최고 감도 설정에서 실사적인 노이즈를 합성하기 위해 물리 기반의 노이즈 생성기를 훈련한다.
• 실제 노이즈와 합성 노이즈를 구분하는 디스크림이너를 포함한 GAN 프레임워크를 통해 노이즈 생성기를 훈련하여 고정밀도의 노이즈 모델링을 보장한다.
• 동일한 카메라에서의 합성 청소 및 노이즈가 섞인 동영상 클립(노이즈 모델을 통해 생성)과 실제 노이즈가 섞인 정지 이미지 버스트를 조합한 하이브리드 데이터셋을 사용하여 동영상 노이즈 제거기를 훈련한다.
• 노이즈 제거기는 수정된 FastDVDnet 아키텍처를 기반으로 하며, 대상 센서의 특수한 비정규분포 노이즈 특성에 맞게 최적화된다.
• 노이즈 모델링과 노이즈 제거를 분리하여 훈련함으로써, 노이즈 생성기는 고정된 상태로 유지하고 노이즈 제거기는 합성 및 실재 데이터의 조합으로 최적화할 수 있다.
• 시간적 일관성을 향상시키기 위해, 프레임 간 번쩍임을 최소화하는 동영상 전용 아키텍처 구성 요소와 손실 함수를 활용한다.

Figure 1: Method overview. (a) First we train our noise generator along with a discriminator, which aims to distinguish between real and synthetic noise. We use a limited dataset of long exposure/low gain and short exposure/high gain non-moving image pairs during this training process. After trainin

실험 결과

연구 질문

• RQ1 광자 수가 극도로 적은 별빛 조건(0.001 룽스 이하)에서 실사적인 동영상 노이즈 제거가 가능할 수 있는가?
• RQ2 伝통적인 노이즈 가정(예: 정규분포)이 실패하는 고감도 저조도 촬영에서 실사적인 노이즈 모델을 어떻게 학습할 수 있는가?
• RQ3 합성 데이터와 실재 정지 이미지로 훈련된 동영상 노이즈 제거기가 실세계의 동적 동영상 시퀀스에 대해 얼마나 잘 일반화되는가?
• RQ4 실제 저조도 동영상에 대해 최신 기술(V-BM4D, FastDVDnet)과 비교했을 때, 제안된 방법은 성능과 시간적 일관성 면에서 어떻게 성능을 내는가?

주요 결과

• 저자들은 달 없는 별빛 조건에서 0.6~0.7 밀리룩스(0.0006~0.0007 룩스)에서 5~10 fps의 동영상을 촬영하여, 이러한 조건에서 움직이는 대상을 촬영한 최초의 동영상임을 입증했다.
• V-BM4D 및 미리 학습된 FastDVDnet과 비교해 제안된 방법은 더 뛰어난 영상 품질과 더 적은 번쩍임을 보였으며, 이는 심각한 시간적 아티팩트와 줄무늬 노이즈를 보였기 때문이다.
• 10명의 평가자와 300회의 비교를 수행한 블라인드 A/B 테스트에서 제안된 방법은 95%의 경우에서 다른 방법보다 더 뛰어난 영상 품질로 평가되었다.
• 클래식한 방법(V-BM4D)과 딥러닝 기반 방법(FastDVDnet, L2SID)을 모두 초월하여, 특히 별과 동적 움직임의 세부 정보를 잘 유지하는 데 뛰어난 성능을 보였다.
• Noise2Self는 구조적 노이즈 패턴으로 인해 실패하였으며, 이는 노이즈가 상호 상관성이 높고 i.i.d.가 아닐 경우 자기학습 방법의 부적합성을 보여준다.
• 메테오르와 같은 빠른 움직임을 가진 물체에 대해서도 노이즈 제거 결과에서 세부 정보 손실이나 심각한 아티팩트 없이 뛰어난 내성적 안정성을 유지한다.

Figure 2: Physics-inspired noise generator. Our noise generator takes in a clean image and produces a synthetic noisy image. During training, our physics-inspired statistical noise parameters are optimized along with a U-Net to produce a synthetic noisy image that is indistinguishable from a real no