[논문 리뷰] V2E: From video frames to realistic DVS event camera streams.

Tobi Delbrück, Yuhuang Hu외 1명|arXiv (Cornell University)|2020. 06. 13.

Advanced Memory and Neural Computing참고 문헌 31인용 수 33

한 줄 요약

이 논문은 임계값 불일치, 대역폭 제한, 노이즈와 같은 물리적 센서 특성을 모델링하여 강도 영상 프레임에서 실제와 유사한 DVS 이벤트 스트림을 생성하는 v2e라는 도구를 소개한다. 이는 합성 저조도 DVS 데이터 생성을 가능하게 하며, 적응형 임계값 및 대역폭 캘리브레이션을 통해 실제 기록의 통계와 일치시켜 동적 시각 센서 데이터 합성 분야의 핵심 격차를 메운다.

ABSTRACT

To help meet the increasing need for dynamic vision sensor (DVS) event camera data, we developed the v2e toolbox, which generates synthetic DVS event streams from intensity frame videos. Videos can be of any type, either real or synthetic. v2e optionally uses synthetic slow motion to upsample the video frame rate and then generates DVS events from these frames using a realistic pixel model that includes event threshold mismatch, finite illumination-dependent bandwidth, and several types of noise. v2e includes an algorithm that determines the DVS thresholds and bandwidth so that the synthetic event stream statistics match a given reference DVS recording. v2e is the first toolbox that can synthesize realistic low light DVS data. This paper also clarifies misleading claims about DVS characteristics in some of the computer vision literature. The v2e website is this https URL and code is hosted at this https URL.

연구 동기 및 목표

• 실제 DVS 이벤트 데이터의 부족, 특히 저조도 조건에서의 부족을 해결하기 위해.
• 실제 또는 합성 영상 입력에서 DVS 유사 이벤트 스트림을 합성할 수 있는 도구를 개발하기 위해.
• 실제성 향상을 위한 핵심 물리적 DVS 특성, 예를 들어 임계값 불일치, 유한한 대역폭, 노이즈 등을 모델링하기 위해.
• 합성 이벤트 스트림의 통계적 특성이 실제 DVS 기록과 일치하도록 校정하기 위해.
• 기존 컴퓨터 비전 문헌에서 발견된 DVS 행동에 대한 오해를 바로잡기 위해.

제안 방법

• v2e 도구는 입력 영상 프레임를 처리하고, 필요에 따라 합성 저속 운동을 적용하여 프레임 레이트를 높인다.
• 이벤트 임계값 불일치와 조명에 따라 달라지는 대역폭을 포함한 실제 물리 모델을 사용해 픽셀 수준의 이벤트 생성을 모델링한다.
• 어둠의 전류 및 읽기 노이즈와 같은 다양한 노이즈 유형을 시뮬레이션하여 실제성 향상에 기여한다.
• 최적화 알고리즘이 실제 DVS 기록의 통계적 특성과 일치하도록 DVS 임계값과 대역폭을 조정한다.
• 도구는 실제 및 합성 영상 입력을 모두 지원하여 광범위한 적용 가능성을 확보한다.
• 이전에는 존재하지 않았던 합성 저조도 DVS 데이터 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 영상 프레임에서 합성 DVS 이벤트 스트림을 생성하면서도 실제 센서 행동을 유지할 수 있는가?
• RQ2 임계값 불일치 및 대역폭과 같은 물리적 DVS 특성을 합성 데이터에서 정확히 모델링할 수 있는가?
• RQ3 합성 이벤트 스트림을 실제 DVS 기록의 통계적 특성과 일치시킬 수 있는가?
• RQ4 노이즈와 대역폭 제한은 실제적인 이벤트 스트림 생성에 어떤 역할을 하는가?
• RQ5 저조도 시각 연구를 지원하기 위해 합성 저조도 DVS 데이터를 어떻게 생성할 수 있는가?

주요 결과

• v2e는 적응형 임계값 및 대역폭 캘리브레이션을 통해 실제 DVS 기록의 통계적 특성과 밀접하게 일치하는 합성 DVS 이벤트 스트림을 성공적으로 생성한다.
• 도구는 이전에 존재하지 않았던 실제적인 저조도 DVS 데이터를 생성할 수 있다.
• 노이즈 모델과 유한한 대역폭의 포함이 합성 이벤트 스트림의 물리적 타당성을 향상시킨다.
• 기존 컴퓨터 비전 문헌에서 흔히 발견되는 DVS 행동에 대한 오해를 효과적으로 수정한다.
• 합성 저속 운동 업샘플링은 시간 해상도를 향상시켜 후속 작업에 대한 이벤트 스트림 품질을 개선한다.
• 연구 및 벤치마킹을 위한 다양한 DVS 데이터의 재현 가능하고 확장 가능한 생성을 가능하게 한다.