[논문 리뷰] e-TLD: Event-based Framework for Dynamic Object Tracking

Bharath Ramesh, Shihao Zhang외 5명|arXiv (Cornell University)|2020. 09. 02.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 13

한 줄 요약

이 논문은 이벤트 카메라를 위한 실시간, 장기적 객체 추적 프레임워크인 e-TLD를 제안한다. 이는 이벤트 기반 국소 추적자와 재탐색을 위한 글로벌 검출기를 조합하여 가림을 초래한 후 재획득하는 데에 사용된다. 온라인 분류 학습과 베이지안 부트스트랩핑을 통해 스케일, 회전, 시점 변화 및 가림 상황에서도 강인한 추적 성능을 달성하며, 공개 데이터셋에서의 정량적 성능 평가 결과 다양한 운동 프로파일에서 높은 성공률를 보였다.

ABSTRACT

This paper presents a long-term object tracking framework with a moving event camera under general tracking conditions. A first of its kind for these revolutionary cameras, the tracking framework uses a discriminative representation for the object with online learning, and detects and re-tracks the object when it comes back into the field-of-view. One of the key novelties is the use of an event-based local sliding window technique that tracks reliably in scenes with cluttered and textured background. In addition, Bayesian bootstrapping is used to assist real-time processing and boost the discriminative power of the object representation. On the other hand, when the object re-enters the field-of-view of the camera, a data-driven, global sliding window detector locates the object for subsequent tracking. Extensive experiments demonstrate the ability of the proposed framework to track and detect arbitrary objects of various shapes and sizes, including dynamic objects such as a human. This is a significant improvement compared to earlier works that simply track objects as long as they are visible under simpler background settings. Using the ground truth locations for five different objects under three motion settings, namely translation, rotation and 6-DOF, quantitative measurement is reported for the event-based tracking framework with critical insights on various performance issues. Finally, real-time implementation in C++ highlights tracking ability under scale, rotation, view-point and occlusion scenarios in a lab setting.

연구 동기 및 목표

• 이게림, 배경 혼잡, 조도 변화와 같은 도전적인 조건에서도 작동하는 실시간, 장기적 객체 추적 시스템을 개발하는 것.
• 임시로 가려지거나 시야에서 벗어난 후 객체를 재추적하기 위해 데이터 기반 글로벌 검출기를 사용할 수 있도록 하는 것.
• 딥러닝에 의존하지 않고 증분 SVM 학습과 효율적인 이벤트 기반 기술자들을 사용하여 계산 비용을 줄이는 것.
• 희박하고 고시간 해상도를 가진 이벤트 데이터를 활용하여 스케일, 회전, 시점 변화 및 동적 운동에 대해 강인한 추적을 달성하는 것.
• 표준 하드웨어에서 C++ 구현을 통해 실시간 성능를 입증하여 뉴모르픽 비전 시스템에 실용적인 프레임워크를 제공하는 것.

제안 방법

• 프레임워크는 온라인 증분 SVM 업데이트를 통해 훈련된 이벤트 기반 분류기 기반의 국소 슬라이딩 윈도우 추적기를 사용한다.
• 분류 성능 향상과 실시간 처리 지원을 위해 베이지안 부트스트랩핑이 적용된다.
• 객체가 시야로 재진입할 경우 글로벌 슬라이딩 윈도우 검출기가 활성화되며, 다양한 시점에서의 객체 위치를 이벤트 데이터를 이용해 탐지한다.
• 추적기는 마지막으로 알려진 위치에 의해 정의된 공간적 제약 영역 내에서 작동하며, 이벤트 도착률에 기반한 시간적 제약 조건이 적용된다.
• 객체 표현은 이전 연구에서 제안한 기술자 기반으로 이벤트 스트림으로부터 학습되며, 희박하고 비동기적인 데이터에서 효율적인 특징 추출을 가능하게 한다.
• 시스템은 C++로 구현되었으며 표준 하드웨어에서 실시간 성능를 최적화하여 동적 운동 및 가림 처리를 지원한다.

실험 결과

연구 질문

• RQ1 이벤트 카메라를 사용하는 장기적 객체 추적 시스템이 가림과 배경 변화에도 정확도를 유지할 수 있는가?
• RQ2 교란, 텍스처가 풍부한 환경에서 온라인 학습을 적용한 이벤트 기반 국소 추적기는 얼마나 효과적인가?
• RQ3 추적기 및 검출기 임계값 파라미터가 추적 강인성과 재획득 성능에 미치는 영향은 어떠한가?
• RQ4 실시간 시나리오에서 스케일, 회전, 시점 변화를 얼마나 잘 처리하는가?
• RQ5 사용자 초기화 없이 자동 검출에 의존할 수 있는 정도는 어느 정도인가?

주요 결과

• e-TLD 프레임워크는 이동, 회전 및 6-도프리 도움을 받는 다섯 가지 다른 객체에 대해 높은 오버랩 성공률(overlap success, OS)과 중심 위치 오차(Center Location Error, CLE)를 달성했으며, 대부분의 객체에서 OS 값이 0.8를 초과했다.
• 추적기는 임계값 τt = 0.8에서 강인한 성능를 유지하며, 실험실 환경에서 스케일 및 시점 변화 조건에서도 안정적인 추적 성능를 보였다.
• 글로벌 검출기를 통한 객체 재획득은 효과적이지만, 이벤트 생성 수가 적은 객체(예: 균일한 모니터)의 경우 특히 높은 τ 값에서 성능 저하가 발생했다.
• 초기화 오차에 대해 강인하며, 참값 기반 경계 상자 좌표에서 최대 10%의 드리프트가 발생하더라도 만족스러운 성능를 유지했다.
• 프레임워크는 약 150 KB/s의 데이터 속도에서 효율적으로 작동하며, 표준 VGA 카메라의 약 10 MB/s보다 훨씬 낮은 속도를 기록했지만, 높은 시간 해상도와 다이내믹 레인지 유지했다.
• 베이지안 부트스트랩핑과 증분 SVM 학습의 사용은 재학습이나 전용 하드웨어가 필요 없이 실시간 처리를 가능하게 하였으며, 딥러닝 기반 대안과는 달리 이에 비해 유리한 성능를 보였다.