[논문 리뷰] High Frame Rate Video Reconstruction based on an Event Camera

Liyuan Pan, Richard Hartley외 4명|arXiv (Cornell University)|2019. 03. 12.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 DAVIS 카메라에서 촬영한 단일 흐린 강도 프레임과 해당하는 이벤트 데이터로부터 고프레임레트, 선명한 영상을 복원하는 새로운 mEDI(multiple Event-based Double Integral) 모델을 제안한다. 운동 흐림을 잠재적인 선명한 프레임들의 적분으로 모델링하고, 이벤트 데이터를 활용해 시간적 동역학을 복원함으로써 효율적인 최적화를 통해 기존 최고 수준의 방법들보다 정량적 지표와 시각적 품질 모두에서 뛰어난 탈블러링 및 고시간해상도 복원을 달성한다. 이는 합성 및 실제 데이터셋에서 입증된다.

ABSTRACT

Event-based cameras measure intensity changes (called `events') with microsecond accuracy under high-speed motion and challenging lighting conditions. With the `active pixel sensor' (APS), the `Dynamic and Active-pixel Vision Sensor' (DAVIS) allows the simultaneous output of intensity frames and events. However, the output images are captured at a relatively low frame rate and often suffer from motion blur. A blurred image can be regarded as the integral of a sequence of latent images, while events indicate changes between the latent images. Thus, we are able to model the blur-generation process by associating event data to a latent sharp image. Based on the abundant event data alongside a low frame rate, easily blurred images, we propose a simple yet effective approach to reconstruct high-quality and high frame rate sharp videos. Starting with a single blurred frame and its event data from DAVIS, we propose the Event-based Double Integral (EDI) model and solve it by adding regularization terms. Then, we extend it to multiple Event-based Double Integral (mEDI) model to get more smooth results based on multiple images and their events. Furthermore, we provide a new and more efficient solver to minimize the proposed energy model. By optimizing the energy function, we achieve significant improvements in removing blur and the reconstruction of a high temporal resolution video. The video generation is based on solving a simple non-convex optimization problem in a single scalar variable. Experimental results on both synthetic and real datasets demonstrate the superiority of our mEDI model and optimization method compared to the state-of-the-art.

연구 동기 및 목표

• 낮은 프레임 레이트와 운동 흐림 문제를 겪는 DAVIS 카메라의 강도 영상의 한계를 해결하면서도 고속 이벤트 데이터를 효과적으로 활용한다.
• 기존의 이벤트 전용 또는 영상 전용 복원 방법의 단점을 극복하여 정적 또는 천천히 움직이는 장면에서 질감과 일관성을 유지한다.
• 이벤트 데이터를 잠재적인 선명한 프레임에 연결함으로써 블러 생성 과정을 모델링하는 통합 프레임워크를 개발한다.
• 단일 흐린 프레임과 그에 해당하는 이벤트 데이터로부터 고시간해상도 영상 복원을 가능하게 하여, 이전의 영상+이벤트 융합 방법에서 블러를 忽略하는 문제를 개선한다.

제안 방법

• 운동 흐림을 잠재적인 선명한 이미지들의 적분으로 표현하는 이벤트 기반 이중 적분(EDI) 모델을 제안하며, 이벤트는 그 사이의 강도 변화를 나타낸다.
• 시간적 일관성과 부드러움을 향상시키기 위해 다중 흐린 프레임과 그에 해당하는 이벤트 스트림을 통합하여 EDI를 mEDI 모델로 확장한다.
• 자료 적합성과 정규화 항을 포함한 에너지 함수를 최소화하는 비볼록 최적화 문제를 설정함으로써 고품질 복원을 가능하게 한다.
• 기존 방법에 비해 계산 효율성이 크게 향상된, 단일 스칼라 변수에서 작동하는 새로운 효율적 솔버를 도입한다.
• 프리볼루션 수준을 높이되 계산 비용을 증가시키지 않는 방식으로 피보나치 수열 기반 샘플링 전략을 도입하여 다중 노출 간격을 선택한다.
• 고역동범위 장면에서의 시각적 품질 향상을 위해 HDR 강화 기법을 적용하여 세밀한 질감과 색상 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 이벤트 데이터와 단일 흐린 프레임을 효과적으로 융합하여 질감과 운동 일관성을 유지하면서 고프레임레트, 선명한 영상을 복원할 수 있는가?
• RQ2 이벤트 데이터를 활용해 잠재적인 선명한 프레임들의 적분으로서 블러 생성 과정을 어떻게 모델링할 수 있는가?
• RQ3 다중 흐린 프레임과 그에 해당하는 이벤트를 통합하면 단일 프레임 기반 방법에 비해 더 매끄럽고 정확한 고프레임레트 영상 복원이 가능한가?
• RQ4 제안된 mEDI 모델이 기존의 최고 수준의 이벤트 전용 및 영상+이벤트 융합 방법보다 탈블러링 및 시간해상도 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ5 유사한 에너지 모델에 대해 기존의 솔버들과 비교했을 때 제안된 최적화 방법은 효율성과 복원 품질 측면에서 어떻게 우월한가?

주요 결과

• 합성 데이터셋에서 mEDI 모델은 최고의 PSNR 점수를 기록하였으며, 탈블러링 후 복원을 수행하는 기준 방법들보다 유의미하게 뛰어난 성능을 보였다. SSIM 점수 역시 경쟁력 있는 수준을 확보하였다.
• 실제 장면 데이터셋, 특히 저조도 및 텍스트 기반 장면에서 제안된 방법은 최고 수준의 이벤트 전용 방법보다 더 뛰어난 시각적 결과를 도출하였으며, 더 풍부한 질감 세부 정보와 더 나은 운동 일관성을 확보하였다.
• 정적 배경이나 이벤트가 흐린 장면에서도 이 방법은 고프레임레트 영상 복원에 효과적으로 작용하였으며, 이벤트 전용 방법이 질감을 유지하지 못하는 상황에서도 유사한 성능을 기록하였다.
• 제안된 최적화 솔버는 문제를 단일 스칼라 변수로 축소시킴으로써 계산 효율성을 크게 향상시켜 실시간 응용에 실용적인 방법이 되었다.
• mEDI 모델은 극단적인 조도 변화와 이벤트 노이즈에 대해 뛰어난 강인성을 보였지만, 갑작스러운 조도 전환이나 매우 낮은 이벤트 수치에서는 성능이 약간 저하되었다.
• 시각적 비교 결과, 재구성된 영상들은 E2VID, Scheerlinck 등 다른 이벤트 기반 복원 방법들과 비교해 더 높은 정밀도를 유지하였으며, 시간적 일관성이 향상되고 잡음 요소가 감소한 것으로 나타났다.