[논문 리뷰] How to Train Your Event Camera Neural Network

Timo Stoffregen, Cedric Scheerlinck외 5명|arXiv (Cornell University)|2020. 03. 20.

Advanced Memory and Neural Computing참고 문헌 22인용 수 5

한 줄 요약

이 논문은 이벤트 기반 신경망을 위한 새로운 데이터 증강 및 훈련 전략을 제안하며, 영상 복원 및 옵티컬 플로우 작업에서 성능을 크게 향상시킨다. 새로운 고품질 프레임(HQF) 데이터셋과 최적화된 훈련 프로토콜을 도입함으로써, 영상 복원 작업에서 최신 기준 대비 20–40% 향상되고, 옵티컬 플로우 네트워크에서는 최대 15% 향상된다.

ABSTRACT

Event cameras are paradigm-shifting novel sensors that report asynchronous, per-pixel brightness changes called 'events' with unparalleled low latency. This makes them ideal for high speed, high dynamic range scenes where conventional cameras would fail. Recent work has demonstrated impressive results using Convolutional Neural Networks (CNNs) for video reconstruction and optic flow with events. We present strategies for improving training data for event based CNNs that result in 20-40% boost in performance of existing state-of-the-art (SOTA) video reconstruction networks retrained with our method, and up to 15% for optic flow networks. A challenge in evaluating event based video reconstruction is lack of quality ground truth images in existing datasets. To address this, we present a new High Quality Frames (HQF) dataset, containing events and ground truth frames from a DAVIS240C that are well-exposed and minimally motion-blurred. We evaluate our method on HQF + several existing major event camera datasets.

연구 동기 및 목표

• 기존 이벤트 카메라 데이터셋에서 고품질 참조 프레임의 부족으로 인해 영상 복원 모델의 신뢰성 있는 평가가 제한되는 문제를 해결하기 위해.
• 이벤트 기반 합성곱 신경망(CNN)의 훈련 데이터 품질과 다양성을 향상시켜 모델의 일반화 능력과 성능을 향상시키기 위해.
• DAVIS240C 센서에서 발생하는 이벤트와 동기화된 고해상도, 잘 曝光된, 최소한의 운동 왜곡을 가진 참조 프레임을 포함한 새로운 벤치마크 데이터셋인 HQF를 개발하기 위해.
• 제안된 훈련 방법론을 사용하여 여러 이벤트 기반 작업, 특히 영상 복원 및 옵티컬 플로우에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 저자들은 DAVIS240C 이벤트 카메라에서 발생하는 이벤트와 동기화된 고품질, 잘 曝光된, 최소한의 운동 왜곡을 가진 프레임을 촬영한 새로운 데이터셋인 고품질 프레임(HQF)을 도입한다.
• 훈련 데이터의 다양성과 품질을 향상시켜 모델의 강건성과 수렴성을 향상시키는 데이터 증강 전략을 제안한다.
• 영상 복원 및 옵티컬 플로우를 위한 기존 최신 기술(SOTA) 아키텍처를 재사용하여, HQF 데이터와 제안된 훈련 프로토콜로 미세조정한다.
• 이벤트 기반 데이터의 특성(예: 희소적이고 비동기적인 이벤트 스트림)을 고려해 최적화된 데이터 샘플링 및 손실 함수를 포함한 훈련 프로토콜을 수립한다.
• 이벤트 데이터의 시간 정밀도를 활용하여 이벤트 버스트를 참조 프레임과 정렬함으로써 훈련 중 보다 정확한 지도 학습을 가능하게 한다.
• 다양한 시나리오의 동적 환경을 고려한 일반화 능력을 확보하기 위해 HQF와 여러 기존 이벤트 카메라 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 개선된 훈련 데이터 품질과 다양성은 이벤트 기반 영상 복원 네트워크의 성능 향상에 기여할 수 있는가?
• RQ2 고품질, 잘 曝光된 참조 프레임의 포함 여부는 이벤트 기반 CNN의 훈련 및 추론에 어떤 영향을 미치는가?
• RQ3 제안된 훈련 전략은 영상 복원 및 옵티컬 플로우와 같은 다양한 이벤트 기반 작업에 얼마나 일반화될 수 있는가?
• RQ4 새로운 HQF 데이터셋은 기존 데이터셋에 비해 이벤트 기반 영상 복원 모델 평가를 위한 신뢰할 수 있는 기준을 제공하는가?

주요 결과

• 제안된 훈련 전략을 통해 HQF 데이터셋으로 재훈련한 영상 복원 네트워크에서 20–40%의 성능 향상이 이루어졌다.
• 옵티컬 플로우 네트워크의 경우, 최신 기준 모델 대비 최대 15%의 성능 향상이 달성되었다.
• HQF 데이터셋은 고품질, 최소한의 운동 왜곡을 가진 참조 프레임를 제공하여 복원 모델의 정확한 평가를 가능하게 한다.
• 성능 향상은 여러 이벤트 카메라 데이터셋에서 일관되게 관찰되어 제안된 방법의 일반화 능력을 입증한다.
• 결과적으로 데이터 품질과 훈련 프로토콜이 이벤트 기반 딥 러닝에서 최신 기술 성능을 달성하는 데 핵심 요소임을 보여준다.