[논문 리뷰] Stereo Co-capture System for Recording and Tracking Fish with Frame- and Event Cameras

Friedhelm Hamann, Guillermo Gallego|arXiv (Cornell University)|2022. 07. 15.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 공간적 및 시간적 정렬을 통해 프레임 기반 및 이벤트 기반 카메라를 통합한 스테레오 공공촬영 시스템을 제안한다. 고정밀 물고기 추적을 위해 시간-표면 표현을 사용하는 이벤트 기반 다중 동물 추적 알고리즘의 베이스라인을 도입하여, 기존의 프레임 기반 방법에 비해 낮은 mAP를 보이지만 안정적인 추적을 가능하게 함으로써 실현 가능성을 입증하고, 향후 동물 행동 분석을 위한 하이브리드 이벤트-프레임 추적 시스템의 기반을 마련한다.

ABSTRACT

This work introduces a co-capture system for multi-animal visual data acquisition using conventional cameras and event cameras. Event cameras offer multiple advantages over frame-based cameras, such as a high temporal resolution and temporal redundancy suppression, which enable us to efficiently capture the fast and erratic movements of fish. We furthermore present an event-based multi-animal tracking algorithm, which proves the feasibility of the approach and sets the baseline for further exploration of combining the advantages of event cameras and conventional cameras for multi-animal tracking.

연구 동기 및 목표

• 다중 동물 추적을 위해, 프레임 기반 및 이벤트 기반 카메라를 사용한 동기화되고 공간적으로 정렬된 스테레오 공공촬영 시스템을 개발하기 위해.
• 기존의 프레임 기반 카메라의 한계를 초월하여 고속이고 불규칙한 물고기 움직임을 고시간 해상도로 기록하기 위해.
• 비교를 위해 기존의 프레임 기반 방법과 대비할 수 있는 이벤트 기반 다중 객체 추적 알고리즘의 베이스라인을 수립하기 위해.
• 이벤트 데이터와 프레임 데이터의 융합을 탐색하여, 도전적인 조건에서 추적의 강건성과 효율성을 향상시키기 위해.
• 향후 이벤트 기반 동물 추적 연구를 위한 재현 가능한 플랫폼을 제공하기 위해.

제안 방법

• 빔스플리터가 프레임 기반 카메라(Basler, 120 fps)와 이벤트 카메라(DVS128)의 광로를 정렬하여, 뷰의 공간적 정렬을 보장한다.
• 하드웨어 트리거가 프레임 및 이벤트 데이터 스트림 간 마이크로초 수준의 시간 동기화를 보장한다.
• 이벤트 데이터는 E2VID를 사용하여 프레임 유사 재구성과 이벤트 기반 추적을 위한 시간 맵으로 처리된다.
• 객체 검출은 YOLOv5s를 사용하여 그레이스케일 프레임, E2VID 재구성 이미지, 시간-표면 맵의 세 가지 입력 유형에 대해 수행되며, 소규모 레이블링 데이터셋에 대한 전이 학습이 적용된다.
• 다중 객체 추적은 칼만 필터와 헝가리안 알고리즘 연관 기반으로, 세 가지 표현 모두에서의 검출 결과에 적용된다.
• 시스템은 20×20×20 cm 탱크에서 1~6마리의 Poecilia formosa 물고기를 대상으로 한 12개의 시퀀스에서 검증되었으며, 평가에는 상단 시점 기록이 사용되었다.

실험 결과

연구 질문

• RQ1 이벤트 기반 카메라는 기존의 프레임 기반 카메라가 어려워하는 고속이고 불규칙한 물고기 움직임을 효과적으로 캡처할 수 있는가?
• RQ2 검출 기반 추적 파라다임을 사용할 때, 이벤트 데이터만으로 다중 동물 추적을 수행하는 것이 실현 가능한가?
• RQ3 검출 정확도와 트랙 안정성 측면에서 이벤트 기반 추적의 성능은 프레임 기반 추적과 비교해 어떻게 되는가?
• RQ4 이벤트 데이터에서 유도된 시간-표면 표현은 표준 컴퓨터 비전 파이프라인에서 객체 검출 및 추적에 효과적으로 사용될 수 있는가?
• RQ5 이벤트 데이터와 프레임 데이터를 융합함으로써 동물 추적의 강건성과 효율성을 향상시킬 잠재력은 어떠한가?

주요 결과

• 이벤트 기반 객체 검출기는 시간-표면 맵에서 평균 평균 정밀도(mAP)가 0.4224를 기록하여, 프레임 기반 검출기의 0.6169 mAP보다 낮지만 여전히 실현 가능성을 입증하였다.
• 시간-표면 데이터의 평균 트랙릿 지속 시간은 14.11초였고, 그레이스케일 프레임의 경우 20.42초였으며, 이는 안정적인 추적이지만 더 오래 지속되지 않는다는 것을 시사한다.
• E2VID 재구성 이미지 표현은 mAP 0.4936과 평균 트랙릿 지속 시간 16.28초를 기록하여 중간 성능을 보였다.
• 시스템은 평균 675,000 이벤트/초의 이벤트 레이트로 고속 물고기 움직임을 성공적으로 캡처하여, 표준 120 fps 프레임 카메라의 능력 범위를 초월하였다.
• 베이스라인 이벤트 기반 추적기는 이벤트 데이터가 다중 동물 추적에 효과적으로 사용될 수 있음을 입증하며, 향후 하이브리드 프레임-이벤트 알고리즘의 기반을 마련한다.
• 공공촬영 시스템은 프레임 기반 및 이벤트 기반 추적 간 공정한 비교를 가능하게 하며, 다중 시점 융합을 통한 향후 3차원 궤적 복원을 지원한다.