[논문 리뷰] HDR Video Reconstruction with Tri-Exposure Quad-Bayer Sensors

Yitong Jiang, Inchang Choi외 2명|arXiv (Cornell University)|2021. 03. 19.

Image Enhancement Techniques참고 문헌 38인용 수 11

한 줄 요약

이 논문은 고역동 범위(HDR) 영상 복원을 위한 새로운 딥러닝 프레임워크를 제안한다. 삼중 노출 퀀드베이어 센서를 사용하여 각 프레임에서 공간적으로 균일한 노출 샘플링을 가능하게 한다. 이 방법은 움직임 블러, 노이즈, 공간적 아티팩트를 완화하기 위해 HDR 특징 융합, 주의 기반 시간적 노이즈 제거, 게이팅 슈퍼해상도를 포함한 모듈러 네트워크를 활용하며, 높은 동적 범위와 움직임이 있는 어려운 시나리오에서 최신 기술 수준의 성능을 달성한다. 특히 과노출 및 과소노출 영역의 기여를 균형 있게 조절하는 새로운 LDR 복원 손실 함수를 결합함으로써 성능 향상을 이룬다.

ABSTRACT

We propose a novel high dynamic range (HDR) video reconstruction method with new tri-exposure quad-bayer sensors. Thanks to the larger number of exposure sets and their spatially uniform deployment over a frame, they are more robust to noise and spatial artifacts than previous spatially varying exposure (SVE) HDR video methods. Nonetheless, the motion blur from longer exposures, the noise from short exposures, and inherent spatial artifacts of the SVE methods remain huge obstacles. Additionally, temporal coherence must be taken into account for the stability of video reconstruction. To tackle these challenges, we introduce a novel network architecture that divides-and-conquers these problems. In order to better adapt the network to the large dynamic range, we also propose LDR-reconstruction loss that takes equal contributions from both the highlighted and the shaded pixels of HDR frames. Through a series of comparisons and ablation studies, we show that the tri-exposure quad-bayer with our solution is more optimal to capture than previous reconstruction methods, particularly for the scenes with larger dynamic range and objects with motion.

연구 동기 및 목표

• 기존 HDR 영상 복원 기법의 한계인 움직임에 의한 가시성 잔상, 짧은 노출에 의한 노이즈, 공간적 아티팩트를 해결하기 위해 공간적으로 균일한 삼중 노출 샘플링을 제공하는 새로운 센서 아키텍처를 활용한다.
• 주목적 기반 시간적 노이즈 제거 모듈과 슈퍼해상도 모듈을 포함한 모듈러 딥러닝 네트워크 설계를 통해 HDR 영상 복원의 시간적 일관성 향상과 아티팩트 감소를 도모한다.
• 과노출 및 과소노출 영역이 HDR 출력에서 균형 있게 기여하도록 보장하는 새로운 LDR 복원 손실 함수를 개발하여 전체 이미지 품질 향상에 기여한다.

제안 방법

• 각 색 필터에 걸쳐 장노출, 중간노출, 단노출을 균일하게 분포시키는 삼중 노출 퀀드베이어 센서를 도입하여, 인터레스드 또는 버스트 기반 방법에 비해 공간적 아티팩트를 감소시킨다.
• 세 가지 핵심 구성 요소를 포함한 모듈러 네트워크 아키텍처를 설계한다: 움직임에 강건한 HDR 추정을 위한 HDR 특징 융합 모듈, 다중 프레임 노이즈 감소를 위한 주목적 기반 시간적 노이즈 제거 모듈, 아티팩트 및 해상도 복구를 위한 게이팅 슈퍼해상도 모듈.
• HDR 출력에서 과노출 및 과소노출 픽셀의 기여를 동일하게 가중치 적용하는 새로운 LDR 복원 손실 함수를 적용하여 동적 범위 극한에 대한 강건성을 향상시킨다.
• 슈퍼해상도 모듈에 하향 샘플링된 이미지와 원본 퀀드베이어 이미지를 스택형으로 입력하여 더 나은 특징 추출 및 해상도 향상 기능을 구현한다.
• 감각적 품질과 동적 범위 유지에 최적화하기 위해 LDR 복원 손실을 활용한 엔드 투 엔드 학습을 적용한다.
• 주목적, 게이팅, 다중 프레임 입력 유무를 비교하는 분석 실험을 통해 아키텍처의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 프레임 전체에 걸쳐 균일한 노출 샘플링을 제공하는 삼중 노출 퀀드베이어 센서는 기존의 SVE 또는 버스트 기반 HDR 방법에 비해 공간적 아티팩트와 노이즈를 감소시키는가?
• RQ2 모듈러 구성 요소( HDR 융합, 시간적 노이즈 제거, 슈퍼해상도)를 갖춘 딥러닝 네트워크는 HDR 영상에서 움직임 블러와 시간적 불안정성을 얼마나 효과적으로 완화하는가?
• RQ3 과노출 및 과소노출 영역의 기여를 균형 있게 조절하는 새로운 LDR 복원 손실 함수는 HDR 복원 품질과 강건성을 향상시키는가?
• RQ4 다중 프레임 입력과 게이팅 슈퍼해상도의 영향은 HDR 영상 복원에서 해상도 복구 및 아티팩트 억제에 어떤 영향을 미치는가?
• RQ5 고역동 범위와 움직임이 있는 시나리오에서 제안된 방법은 기존 HDR 영상 기법과 정량적·정성적으로 비교해 볼 때 어떤가?

주요 결과

• 다중 프레임 입력과 LDR 복원 손실을 적용한 제안된 방법(Multi+LDR)은 최고의 PSNR-μ(36.42), PuPSNR(42.45), HDR-VDP(48.47), HDR-VQM(0.9247) 성능을 기록하여 모든 분석 변형보다 뛰어난 성능을 보였다.
• 원본 퀀드베이어 입력을 게이팅 슈퍼해상도 모듈에 사용한 GSR+OR 네트워크는 PSNR-μ(36.06)와 HDR-VDP(48.47)에서 최고 성능을 기록하여 해상도를 그대로 유지한 특징 추출의 이점을 입증했다.
• 주목적 기반 시간적 노이즈 제거 모듈은 어두운 영역과 포화된 영역에서 노이즈와 아티팩트를 크게 감소시켰으며, 기준 모델 대비 PSNR 향상과 시각적 품질 향상을 입증했다.
• LDR 복원 손실은 노이즈가 많고 동적 범위가 극한인 시나리오에서 더 강건한 성능을 보였으며, 다중 프레임 입력을 사용할 경우 TM 손실 기반 기준 모델 대비 HDR-VDP에서 0.43점 향상되었다.
• 게이팅 슈퍼해상도 모듈은 단순 슈퍼해상도 모듈보다 뛰어난 성능을 보였으며, PSNR-μ는 0.81점 향상되고 HDR-VDP는 0.25점 향상되어 아티팩트 감소에 효과적임을 확인했다.
• 분석 실험 결과, HDR 융합, 주목적 기반 노이즈 제거, 게이팅 슈퍼해상도 등 각 구성 요소가 독립적으로 기여하며 누적 효과를 통해 최종 성능 향상에 기여함을 확인했다.