[논문 리뷰] Low-Light Video Enhancement with Synthetic Event Guidance

Lin Liu, Junfeng An외 7명|arXiv (Cornell University)|2022. 08. 23.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 이벤트와 이미지 융합 변환(EIFT) 및 이벤트 유도 双중 브랜치(EGDB) 모듈을 활용하여 복소 이벤트를 지도로 삼는 삼단계 저조도 영상 강화 프레임워크를 제안한다. 이 방법은 극한의 저조도 또는 빠른 운동 조건에서 특히 노이즈 감소, 세부 사항 유지, 다중 프레임 융합 아티팩트 제거 측면에서 최신 기술(SOTA)을 능가하며, 합성 및 실제 저조도 영상 데이터셋 모두에서 성능을 높였다.

ABSTRACT

Low-light video enhancement (LLVE) is an important yet challenging task with many applications such as photographing and autonomous driving. Unlike single image low-light enhancement, most LLVE methods utilize temporal information from adjacent frames to restore the color and remove the noise of the target frame. However, these algorithms, based on the framework of multi-frame alignment and enhancement, may produce multi-frame fusion artifacts when encountering extreme low light or fast motion. In this paper, inspired by the low latency and high dynamic range of events, we use synthetic events from multiple frames to guide the enhancement and restoration of low-light videos. Our method contains three stages: 1) event synthesis and enhancement, 2) event and image fusion, and 3) low-light enhancement. In this framework, we design two novel modules (event-image fusion transform and event-guided dual branch) for the second and third stages, respectively. Extensive experiments show that our method outperforms existing low-light video or single image enhancement approaches on both synthetic and real LLVE datasets.

연구 동기 및 목표

• 강한 노이즈와 운동으로 인해 발생하는 저조도 영상 강화(LLLVE)에서의 다중 프레임 융합 아티팩트 문제를 해결한다.
• 극한의 저조도 또는 고속 운동 상황에서 기존의 프레임 기반 정렬 방법의 한계를 극복한다.
• 기존 영상 프레임에서 유도된 합성 이벤트를 활용하여 고다이나믹 레인지, 저지연 지도를 제공함으로써 강화를 유도한다.
• 삼단계 파이프라인에서 향상된 이벤트를 감독 신호로 활용하여 노이즈 억제 및 세부 사항 복구를 향상시킨다.
• 이벤트 특징과 이미지 특징을 효과적으로 융합하고 전역 및 국소 영역을 적응적으로 처리하기 위한 새로운 모듈(EIFT 및 EGDB)을 개발한다.

제안 방법

• 기존에 훈련된 이벤트 생성 모델을 사용하여 저조도 영상 프레임에서 현실적인 합성 이벤트를 생성하여 시간적으로 일관된 이벤트 볼륨을 생성한다.
• 첫 번째 단계에서 이벤트 복원 네트워크를 적용하여 저조도 이벤트 볼륨을 향상시켜 노이즈를 감소시키고 색상 이동을 보존하면서 운동 세부 정보를 유지한다.
• 이벤트 및 이미지 특징을 교차 채널 변환과 원소별 곱셈을 통해 동적으로 융합하는 이벤트 및 이미지 융합 변환(EIFT) 모듈을 설계한다.
• 이벤트 생성 마스크를 사용해 이미지를 전역(트랜스포머 기반) 및 국소(잔여) 브랜치로 분할하는 이벤트 유도 이중 브랜치(EGDB) 모듈을 도입한다.
• 강화된 이벤트 볼륨을 사용해 공간적 마스크를 생성하여 EGDB 모듈이 정적 및 동적 영역을 구분하고 타겟된 강화를 수행하도록 유도한다.
• 엔드 투 엔드 삼단계 파이프라인을 훈련한다: 이벤트 합성/복원 → 이벤트-이미지 융합(EIFT를 통한) → 저조도 강화(EGDB를 통한), PSNR, SSIM, LPIPS 최적화

실험 결과

연구 질문

• RQ1 극한의 조도 또는 운동 조건에서 합성 이벤트가 다중 프레임 융합 아티팩트를 효과적으로 완화할 수 있는가?
• RQ2 이벤트 유도 융합이 이미지 세부 정보 유지 및 노이즈 감소 측면에서 기존의 프레임 기반 정렬 방식보다 우월한가?
• RQ3 제안된 EIFT 및 EGDB 모듈이 저조도 영상 강화에서 기준 아키텍처 대비 성능 향상에 얼마나 기여하는가?
• RQ4 지식 기반 지도 없이도 이벤트 유도 강화가 실제 세계 저조도 영상에 일반화 가능한가?
• RQ5 기존 방법과 비교해 이벤트 기반 지도가 저조도 영상 강화에서 화이트 밸런스 및 색상 정밀도를 향상시킬 수 있는가?

주요 결과

• SDSD 데이터셋에서 제안된 방법은 PSNR 25.81, SSIM 0.80, LPIPS 0.126을 기록하여 SDSDNet 및 KinD++를 포함한 최신 기술(SOTA)을 능가했다.
• 절단 실험 결과 EIFT 모듈을 제거할 경우 PSNR가 0.29dB 감소하여 이 모듈의 특징 융합 효과를 입증했다.
• EGDB 모듈은 기여도가 뚜렷했다: 전역 브랜치를 제거하면 PSNR가 0.47dB 감소하고, 국소 브랜치를 제거하면 0.39dB 감소했다.
• 이벤트 지도는 핵심적이다: 이벤트 지도를 제거하면 PSNR가 1.54dB 감소하여 이벤트 지도가 아티팩트 억제 및 정밀도 향상에 기여하는 것을 확인했다.
• Loli-Phone 실제 세계 데이터셋에서 MBLLVEN, RRDNet, SMOID와 비교해 더 선명한 결과를 도출했고, 색상 아티팩트가 적고 화이트 밸런스가 더 우수했다.
• 시각적 결과에서 복원된 이벤트 볼륨은 노이즈와 색상 이동이 크게 감소하여 운동 및 질감 세부 정보의 더 나은 재구성 가능성을 보였다.