[논문 리뷰] HDR Denoising and Deblurring by Learning Spatio-temporal Distortion Models

Uğur Çoğalan, Mojtaba Bemana외 3명|arXiv (Cornell University)|2020. 12. 22.

Advanced Image Processing Techniques참고 문헌 108인용 수 4

한 줄 요약

이 논문은 이중 노출 센서에서 고역동 범위(HDR) 영상을 복원하기 위한 딥러닝 방법을 제안한다. 전통적인 왜곡 → 정제된 방식이 아닌 정제된 → 왜곡된 왜곡 모델을 학습함으로써, 제한된 정제된 HDR 데이터에서 실제적인 노이즈, 운동 흐림, 행/열 아티팩트를 합성하고 고속 LDR 영상으로 운동 흐림을 시뮬레이션함으로써, 최신 기술 수준의 HDR 노이즈 제거 및 흐림 제거 성능을 달성한다. 이는 독립적인 성능 향상뿐 아니라, 재학습된 합성 데이터를 기반으로 한 후속 방법(BM3D 등)의 정확성 향상에도 기여한다.

ABSTRACT

We seek to reconstruct sharp and noise-free high-dynamic range (HDR) video from a dual-exposure sensor that records different low-dynamic range (LDR) information in different pixel columns: Odd columns provide low-exposure, sharp, but noisy information; even columns complement this with less noisy, high-exposure, but motion-blurred data. Previous LDR work learns to deblur and denoise (DISTORTED->CLEAN) supervised by pairs of CLEAN and DISTORTED images. Regrettably, capturing DISTORTED sensor readings is time-consuming; as well, there is a lack of CLEAN HDR videos. We suggest a method to overcome those two limitations. First, we learn a different function instead: CLEAN->DISTORTED, which generates samples containing correlated pixel noise, and row and column noise, as well as motion blur from a low number of CLEAN sensor readings. Second, as there is not enough CLEAN HDR video available, we devise a method to learn from LDR video in-stead. Our approach compares favorably to several strong baselines, and can boost existing methods when they are re-trained on our data. Combined with spatial and temporal super-resolution, it enables applications such as re-lighting with low noise or blur.

연구 동기 및 목표

• HDR 복원에서 정제된 HDR 영상의 부족과 왜곡된 센서 읽기의 고비용 촬영 문제를 해결하기 위해.
• 기존 방법들이 단순한 노이즈나 흐림 모델을 가정하지만, 상관관계 있는 노이즈와 번갈아 가며 발생하는 흐림을 갖는 이중 노출 센서에는 적용되지 않는 문제를 해결하기 위해.
• 정제된 → 왜곡된 생성 모델을 사용해 데이터 효율적인 훈련 전략을 개발하여 HDR 복원을 위한 현실적인 훈련 데이터를 합성하기 위해.
• 노이즈 제거, 흐림 제거, 공간/시간적 초해상도 복원을 통합함으로써 재조명 및 초해상도 복원과 같은 고급 HDR 복원을 가능하게 하기 위해.

제안 방법

• 정제된 HDR 이미지를 실제 센서 읽기로 매핑하는 생성 왜곡 모델을 학습함으로써, 상관관계 있는 픽셀 노이즈, 행/열 노이즈, 번갈아 가는 운동 흐림을 포함한 현실적인 센서 읽기를 생성한다.
• 소수의 정제-왜곡 쌍에서 유도된 복잡한 비모수적 노이즈 분포를 간단한 히스토그램 기반 통계로 모델링한다.
• 노출에 따라 달라지는 운동 흐림을 시뮬레이션하기 위해 고속 LDR 영상을 활용하여 센서의 동작을 반영하는 열 번갈아 가는 흐림 패턴을 합성한다.
• 이러한 합성 데이터를 사용해 네트워크를 엔드 투 엔드 방식으로 훈련함으로써, 제한된 실제 HDR 데이터에서도 강력한 노이즈 제거 및 흐림 제거 성능을 달성한다.
• 훈련 중 출력을 다수의 프레임이나 더 큰 패치로 확장함으로써 시간적 및 공간적 초해상도 복원을 지원한다.
• 노이즈가 없고 선명한 HDR 이미지를 생성함으로써 경로 추적 및 톤 매핑에 적합한 재조명 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정제된 → 왜곡된 생성 모델이 HDR 복원에서 대규모 실측 왜곡 → 정제된 쌍 데이터의 필요성을 효과적으로 대체할 수 있는가?
• RQ2 제한된 정제된 HDR 샘플에서 유도된 현실적인 노이즈 및 운동 흐림 패턴을 가진 합성 훈련 데이터가 최신 기술 수준의 HDR 노이즈 제거 및 흐림 제거 성능을 달성할 수 있는가?
• RQ3 고속 LDR 영상에서 학습함으로써 이중 노출 센서에서의 열 번갈아 가는 운동 흐림을 정확하게 시뮬레이션할 수 있는가?
• RQ4 제안된 방법이 합성 데이터를 기반으로 재학습된 기존 노이즈 제거기(BM3D 등)의 성능 향상에 기여하는가?
• RQ5 이 방법이 HDR 재조명 및 초해상도 복원과 같은 고급 응용 분야에서 얼마나 높은 수준의 지원을 제공할 수 있는가?

주요 결과

• 제안된 방법은 극한의 노출 비율(예: 16:1)에서도 기존 베이스라인 대비 노이즈 제거 및 흐림 제거 성능에서 최신 기술 수준의 HDR 복원 품질을 달성한다.
• 정제된 → 왜곡된 모델을 통해 생성된 합성 데이터를 기반으로 훈련함으로써, 시간적 초해상도 복원에서 재구성 오차가 0.026으로 감소하고, 공간적 초해상도 복원에서는 0.035로 떨어지며, 독립적 방법 대비 뛰어난 성능을 보인다.
• 합성 데이터를 기반으로 재학습한 기존 방법(BM3D 등)은 성능 향상이著명하게 나타나, 합성 데이터의 일반화 능력과 실용성을 입증한다.
• 행 및 열 노이즈를 효과적으로 제거하면서도 날카운 그림자와 밝은 하이라이트를 유지함으로써, 경로 추적 렌더링에서 보여지는 바와 같이 VR/AR 응용 분야에서 정확한 재조명을 가능하게 한다.
• 고속 LDR 영상을 활용함으로써 노출에 따라 달라지는 운동 흐림을 효과적으로 시뮬레이션할 수 있었으며, 이는 이중 노출 센서에서 현실적인 왜곡 모델링에 필수적이다.
• 노이즈 제거, 흐림 제거, 초해상도 복원을 통합한 엔드 투 엔드 훈련은 개별 요소를 순차적으로 적용하는 것보다 열등한 결과를 도출한다.