[논문 리뷰] HDR Reconstruction from Bracketed Exposures and Events

Richard A. Shaw, Sibi Catley-Chandar외 2명|arXiv (Cornell University)|2022. 03. 28.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 뉴모르픽 카메라에서 생성하는 브라켓팅된 LDR 이미지와 이벤트 스트림을 융합하여 단일 모odal 접근 방식의 한계를 극복하는 새로운 엔드 투 엔드 학습 기반 HDR 복원 방법을 제안한다. 주목적 기반 특징 융합, 다중 척도 공간 정렬, 그리고 자기 지율적 이벤트-이미지 특징 증류 모듈을 사용함으로써, 기존 방법에 비해 HdM HDR 데이터셋에서 PSNR-L 에서 2dB, PSNR-μ 에서 1dB 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Reconstruction of high-quality HDR images is at the core of modern computational photography. Significant progress has been made with multi-frame HDR reconstruction methods, producing high-resolution, rich and accurate color reconstructions with high-frequency details. However, they are still prone to fail in dynamic or largely over-exposed scenes, where frame misalignment often results in visible ghosting artifacts. Recent approaches attempt to alleviate this by utilizing an event-based camera (EBC), which measures only binary changes of illuminations. Despite their desirable high temporal resolution and dynamic range characteristics, such approaches have not outperformed traditional multi-frame reconstruction methods, mainly due to the lack of color information and low-resolution sensors. In this paper, we propose to leverage both bracketed LDR images and simultaneously captured events to obtain the best of both worlds: high-quality RGB information from bracketed LDRs and complementary high frequency and dynamic range information from events. We present a multi-modal end-to-end learning-based HDR imaging system that fuses bracketed images and event modalities in the feature domain using attention and multi-scale spatial alignment modules. We propose a novel event-to-image feature distillation module that learns to translate event features into the image-feature space with self-supervision. Our framework exploits the higher temporal resolution of events by sub-sampling the input event streams using a sliding window, enriching our combined feature representation. Our proposed approach surpasses SoTA multi-frame HDR reconstruction methods using synthetic and real events, with a 2dB and 1dB improvement in PSNR-L and PSNR-mu on the HdM HDR dataset, respectively.

연구 동기 및 목표

• 기존 LDR 카메라를 사용한 다중 프레임 HDR 복원에서 발생하는 운동 왜곡 및 과노출 문제를 해결하기 위해.
• 이벤트 전용 HDR 방법의 한계(색상 부재, 낮은 공간 해상도)를 극복하기 위해.
• 브라켓팅된 LDR 이미지(색상, 세밀한 세부 사항)와 이벤트 데이터(고해상도 시간 해상도, 동적 범위)의 상호보완적 강점을 통합한 유일한 프레임워크를 개발하기 위해.
• 중간 강도 이미지가 필요 없이 이미지 특징 공간으로의 이벤트 특징 번역을 가능하게 하는 자기 지율적 특징 증류 기법을 개발하기 위해.
• 다중 척도, 슬라이딩 윈도우 기반 이벤트 서브샘플링 및 공간 정렬을 통해 운동 및 과노출 장면에서의 HDR 복원 강인성을 향상시키기 위해.

제안 방법

• 프레임워크는 크로스 어텐션 메커니즘을 사용하여 특징 도메인에서 브라켓팅된 LDR 이미지와 이벤트 스트림의 특징을 융합하는 엔드 투 엔드 딥 러닝 아키텍처를 사용한다.
• 다중 척도 공간 정렬 모듈은 슬라이딩 윈도우 기반 이벤트 서브샘플링 전략을 활용하여 이벤트의 고시간 해상도를 이용해 이벤트 특징을 이미지 특징과 정렬한다.
• 이벤트-이미지 특징 증류 모듈은 해당 LDR 특징으로부터 자기 지율을 활용하여 이벤트 특징을 이미지 특징 공간으로 번역하는 데 학습되며, 중간 강도 이미지가 필요 없도록 한다.
• 모델은 합성 및 실세계 데이터에서 엔드 투 엔드로 훈련되며, PSNR-L 및 PSNR-μ 지표를 최적화하기 위한 손실 함수가 사용된다.
• 이벤트 스트림은 시간에 따른 고주파 운동 특징을 추출하고 시간에 걸친 특징 표현을 풍부하게 하기 위해 시간적 슬라이딩 윈도우를 통해 처리된다.
• 최종 HDR 출력은 융합, 정렬, 증류된 특징을 정밀화 헤드를 통해 조합함으로써 생성된다.

실험 결과

연구 질문

• RQ1 브라켓팅된 LDR 이미지와 이벤트 데이터를 융합하는 것이 단일 모달 방법에 비해 운동 및 과노출 장면에서 HDR 복원 성능을 향상시킬 수 있는가?
• RQ2 강도 기반 지율에 의존하지 않고 이벤트 특징을 효과적으로 이미지 특징 공간으로 번역할 수 있는가?
• RQ3 슬라이딩 윈도우 기반의 이벤트 서브샘플링 전략이 시간 해상도 활용도를 향상시키고 특징 정렬을 개선하는가?
• RQ4 LDR 특징에서 자기 지율적 증류를 통해 이벤트 기반 특징 표현이 HDR 복원에 있어 향상되는가?
• RQ5 이중 모달 융합 기반 LDR 및 이벤트 데이터 융합이 PSNR 및 시각적 품질 측면에서 이미지 전용 또는 이벤트 전용 베이스라인에 비해 어떻게 비교되는가?

주요 결과

• 제안된 방법은 최신 기술 수준의 다중 프레임 HDR 방법에 비해 HdM HDR 데이터셋에서 PSNR-L 에서 2dB, PSNR-μ 에서 1dB 향상된 성능을 달성한다.
• 절단 실험 결과 각 구성 요소(이벤트 서브샘플링, 정렬, 이벤트-이미지 증류)가 성능 향상에 기여하며, 전체 모델이 가장 우수한 성능을 기록한다.
• 운동 및 과노출 장면에서 기존 방법이 그림자 효과와 정렬 오류를 겪는 것과는 달리, 이벤트 전용 및 단일 LDR 방법보다 성능이 뛰어나다.
• 자기 지율적 이벤트-이미지 증류 모듈은 강도 이미지가 필요 없이 효과적인 특징 번역을 가능하게 하여 강인성과 세부 정보 복원 능력을 향상시킨다.
• 시각적 결과는 특히 하늘 전환부나 깜빡이는 빛과 같은 과노출 영역에서 고주파 세부 정보(모서리, 질감 등)를 뛰어난 수준으로 유지하고 있음을 보여준다.
• 정적 장면에서는 이미지 전용 최신 기술 수준 방법(예: ADNet)과 유사한 성능을 보이며, 다양한 장면 다이나믹스에 대한 강인성을 입증한다.