[논문 리뷰] Events-To-Video: Bringing Modern Computer Vision to Event Cameras

Henri Rebecq, René Ranftl외 2명|Zurich Open Repository and Archive (University of Zurich)|2019. 04. 17.

Advanced Memory and Neural Computing참고 문헌 54인용 수 7

한 줄 요약

이 논문은 이벤트 카메라에서 발생하는 이벤트 스트림으로부터 고품질의 자연스러운 영상을 재구성하기 위한 순환 신경망을 제안한다. 이를 통해 표준 컴퓨터 비전 알고리즘을 직접 적용할 수 있도록 한다. 본 방법은 시뮬레이션된 데이터로 훈련하고 인지적 손실을 활용함으로써, 객체 분류 및 시각-자이로스코픽 오도메트리에서 최신 이벤트 전용 알고리즘을 초월한다. 이는 성숙한 컴퓨터 비전 기법이 영상 재구성 경로를 통해 이벤트 카메라에 효과적으로 적용될 수 있음을 보여준다.

ABSTRACT

Event cameras are novel sensors that report brightness changes in the form of asynchronous "events" instead of intensity frames. They have significant advantages over conventional cameras: high temporal resolution, high dynamic range, and no motion blur. Since the output of event cameras is fundamentally different from conventional cameras, it is commonly accepted that they require the development of specialized algorithms to accommodate the particular nature of events. In this work, we take a different view and propose to apply existing, mature computer vision techniques to videos reconstructed from event data. We propose a novel recurrent network to reconstruct videos from a stream of events, and train it on a large amount of simulated event data. Our experiments show that our approach surpasses state-of-the-art reconstruction methods by a large margin (> 20%) in terms of image quality. We further apply off-the-shelf computer vision algorithms to videos reconstructed from event data on tasks such as object classification and visual-inertial odometry, and show that this strategy consistently outperforms algorithms that were specifically designed for event data. We believe that our approach opens the door to bringing the outstanding properties of event cameras to an entirely new range of tasks. A video of the experiments is available at https://youtu.be/IdYrC4cUO0I

연구 동기 및 목표

• 기존 컴퓨터 비전과 이벤트 카메라 데이터 간 격차를 해소하기 위해 이벤트 스트림으로부터 자연스러운 영상 재구성
• 원래 일반 영상 전용으로 설계된 기존 사전 훈련된 컴퓨터 비전 모델을 이벤트 카메라 데이터에 적용 가능하게 하기
• 시뮬레이션된 이벤트 데이터를 기반으로 인지적 지도를 받는 방식으로 영상 재구성 품질을 최신 기술을 뛰어넘도록 향상시키기
• 실세계 작업, 예를 들어 객체 분류 및 시각-자이로스코픽 오도메트리에서 본 방법의 성능을 검증하여 이벤트 전용 알고리즘보다 뛰어난 성능을 보여주기

제안 방법

• 이벤트 스트림에서 영상 프레임을 재구성하기 위한 새로운 순환 신경망 아키텍처 제안
• 실제 영상 프레임에서 생성된 대규모 시뮬레이션된 이벤트 시퀀스 데이터셋을 기반으로 훈련
• 중위 수준의 특징(예: 사전 훈련된 VGG 네트워크에서 추출)을 기반으로 한 인지적 손실을 사용하여 재구성된 이미지가 자연 이미지의 통계적 특성과 유사하도록 보장
• 이벤트 윈도우는 시간 클립 단위로 처리되며, 최종 재구성된 프레임은 후속 작업에 입력으로 사용됨
• 재구성 파이프라인은 이벤트의 시공간 인코딩을 거친 후, 시간적 의존성을 모델링하기 위한 순환 처리 모듈을 포함함
• 다양한 벤치마크를 통해 검증된 바와 같이, 시뮬레이션된 데이터 전용으로 훈련되었음에도 불구하고 실세계 이벤트 데이터에 대해 뛰어난 일반화 성능을 보임

실험 결과

연구 질문

• RQ1 이벤트 스트림에서 고품질 자연 영상 재구성을 통해 기존 컴퓨터 비전 모델을 이벤트 데이터에 직접 적용할 수 있는가?
• RQ2 시뮬레이션된 이벤트 데이터에서 영상 재구성을 학습하는 방식이 실세계 이벤트 시퀀스로 효과적으로 일반화되는가?
• RQ3 인지적 손실을 통한 영상 재구성 방식이 전용 이벤트 처리 알고리즘보다 후속 비전 작업에서 더 뛰어난 성능을 내는가?
• RQ4 재구성된 이벤트 영상에 표준 컴퓨터 비전 모델을 적용했을 때, 객체 분류 및 시각-자이로스코픽 오도메트리에서 최신 이벤트 전용 방법과 비교해 성능은 어떠한가?
• RQ5 伝통적 재구성 손실에 비해 인지적으로 유도된 손실이 재구성 품질과 후속 작업 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 이벤트에서 영상 재구성 방법은 벤치마크 데이터셋에서 이미지 품질 지표에서 최신 기술을 20퍼센트 이상 초월한다.
• 재구성된 영상 덕분에 표준 딥러닝 모델(예: ResNet18, 단순 CNN)이 이벤트 데이터 전용 알고리즘보다 객체 분류 작업에서 뛰어난 성능을 달성한다.
• N-Caltech101 데이터셋에서 재구성된 이미지에 대해 미세조정된 ResNet18을 사용해 테스트 정확도 94.7%를 기록했으며, 이는 전용 이벤트 기반 모델을 뛰어넘는 성능이다.
• 시각-자이로스코픽 오도메트리에서 본 방법은 장거리 궤적에서 UltimateSLAM (E+I) 및 UltimateSLAM (E+F+I)보다 더 낮은 평균 이동 및 회전 오차를 기록했다.
• M-NNIST 및 N-CARS와 같은 실세계 데이터셋에서의 고품질 재구성 결과를 통해, 시뮬레이션된 훈련 데이터에서 실세계 이벤트 시퀀스로의 일반화 능력이 뛰어나다는 게 입증되었다.
• 인지적 손실 구성 요소가 재구성 결과의 시각적 타당성과 자연 이미지와의 통계적 유사도를 크게 향상시켜, 후속 작업으로의 전이 성능 향상에 기여한다.