[논문 리뷰] Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera

Liyuan Pan, Cedric Scheerlinck외 4명|arXiv (Cornell University)|2018. 11. 26.

Advanced Memory and Neural Computing참고 문헌 31인용 수 11

한 줄 요약

이 논문은 이벤트 카메라에서 얻은 단일 흐린 강도 프레임과 이에 해당하는 이벤트 데이터로부터 고프레임레트, 선명한 영상을 복원하기 위해 이벤트 기반 이중 적분(EDI) 모델을 제안한다. 블러를 잠재적 선명한 프레임의 적분으로 모델링하고, 이벤트를 통해 운동을 추정함으로써 단일 변수 비볼록 최적화 문제를 해결함으로써, 원래 APS 출력보다 최대 200배 높은 프레임 레이트를 달성하면서도 실제 및 합성 동적 장면에서 뛰어난 선명도와 시간적 일관성을 확보한다.

ABSTRACT

Event-based cameras can measure intensity changes (called `{\it events}') with microsecond accuracy under high-speed motion and challenging lighting conditions. With the active pixel sensor (APS), the event camera allows simultaneous output of the intensity frames. However, the output images are captured at a relatively low frame-rate and often suffer from motion blur. A blurry image can be regarded as the integral of a sequence of latent images, while the events indicate the changes between the latent images. Therefore, we are able to model the blur-generation process by associating event data to a latent image. In this paper, we propose a simple and effective approach, the extbf{Event-based Double Integral (EDI)} model, to reconstruct a high frame-rate, sharp video from a single blurry frame and its event data. The video generation is based on solving a simple non-convex optimization problem in a single scalar variable. Experimental results on both synthetic and real images demonstrate the superiority of our EDI model and optimization method in comparison to the state-of-the-art.

연구 동기 및 목표

• 이벤트 카메라가 촬영한 저프레임레트 강도 영상에서 발생하는 운동 블러를 해결함으로써, 이벤트 데이터의 고시간 해상도에도 불구하고 영상 품질을 제한하는 문제를 해결한다.
• 이벤트 데이터와 흐린 강도 프레임 간의 상보적 정보를 활용하여 고프레임레트, 선명한 영상을 복원한다.
• 블러 생성 과정을 잠재적 선명한 프레임의 적분으로 모델링함으로써 운동 인식 영상 복원을 가능하게 한다.
• 딥러닝이나 영상 학습 데이터를 요구하지 않고도, 블러 및 이벤트 생성의 물리적 모델링에 기반한 효율적인 최적화 방법을 개발한다.

제안 방법

• EDI 모델은 흐린 프레임을 잠재적 선명한 프레임의 이중 적분으로 표현하며, 이벤트는 이러한 프레임 간 강도 변화의 도함수를 나타낸다.
• 이 방법은 시간에 따라 선명한 프레임의 누적으로서 블러 과정을 모델링하며, 이벤트는 변화율을 인코딩한다.
• 영상 복원을 단일 스칼라 변수에서의 비볼록 최적화 문제로 설정하여, 재구성된 프레임이 흐린 영상과 이벤트 스트림과 일치하도록 데이터 적합성 항을 최소화한다.
• 기울기 기반 방법을 사용하여 최적화를 효율적으로 해결함으로써 표준 하드웨어에서 실시간 복원을 가능하게 한다.
• 저프레임레트 강도 영상과 고시간 해상도 이벤트 데이터를 동시에 활용하여 선명도와 시간 역학을 모두 복원한다.
• 딥러닝이나 영상 감독 학습을 요구하지 않으며, 블러 및 이벤트 생성의 물리적 모델링에 의존한다.

실험 결과

연구 질문

• RQ1 비디오 학습 데이터나 사전 운동 모델 없이도, 이벤트 데이터와 단일 흐린 프레임을 함께 사용하여 고프레임레트, 선명한 영상을 복원할 수 있는가?
• RQ2 이벤트 기반 운동 신호를 활용하여 저프레임레트 강도 영상의 블러 열화를 효과적으로 복원할 수 있는가?
• RQ3 물리적으로 의미 있는 방식으로 흐린 프레임, 이벤트 스트림, 잠재적 선명한 프레임 간의 관계를 모델링하는 최적의 수식은 무엇인가?
• RQ4 복잡한 딥러닝 또는 다단계 방법보다 단순한 단일 변수 최적화 접근 방식이 블러 제거 및 영상 복원에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 EDI 방법은 최신 기술 대비 합성 및 실제 데이터셋 모두에서 가장 높은 PSNR와 SSIM 성능을 기록한다.
• 합성 데이터셋에서, 기준 방법 대비 뚜렷한 성능 향상을 보이며, PSNR 향상 최대 2.5 dB 및 SSIM 향상 0.1 초과를 달성한다.
• 정성적 비교에서, 이벤트 또는 흐린 프레임에만 의존하는 방법보다 재구성된 영상이 더 선명하고 텍스처 및 운동 세부 정보가 더욱 일관된다.
• 메서드는 원래 APS 프레임 레이트보다 최대 200배 높은 프레임 레이트로 영상을 복원할 수 있으며, 고속 운동 조건에서도 확장 가능성을 입증한다.
• 저조도 및 복잡한 동적 조건에서도 안정적으로 작동하며, 미세한 세부 정보와 운동 일관성을 유지한다.
• 실시간 성능을 달성하여, 단일 i7 코어에서 약 1.5초 내로 한 장의 이미지를 처리함으로써 실세계 적용에 실용적이다.