[논문 리뷰] SiamEvent: Event-based Object Tracking via Edge-aware Similarity Learning with Siamese Networks

Yujeong Chae, Lin Wang외 1명|arXiv (Cornell University)|2021. 09. 28.

Advanced Memory and Neural Computing참고 문헌 49인용 수 4

한 줄 요약

SiamEvent는 고정된 장면에서 목표물이 정지하거나 비독립적으로 움직일 경우 실패하는 기존 이벤트 기반 트래커의 한계를 보완하기 위해 시아모이드 네트워크 기반의 이벤트 기반 객체 추적 프레임워크를 제안한다. 이는 고정밀도(HDR) 및 운동 흐림 조건에서도 목표물을 추적할 수 있도록 에지 인식 유사도 학습을 활용한다. 두 타임스탬프에서 임베딩된 이벤트 특징을 상호 관련시켜 에지 유사도를 계산함으로써, 실제 및 합성 데이터셋에서 최신 기준 대비 최대 15%의 성능 향상을 달성한다.

ABSTRACT

Event cameras are novel sensors that perceive the per-pixel intensity changes and output asynchronous event streams, showing lots of advantages over traditional cameras, such as high dynamic range (HDR) and no motion blur. It has been shown that events alone can be used for object tracking by motion compensation or prediction. However, existing methods assume that the target always moves and is the stand-alone object. Moreover, they fail to track the stopped non-independent moving objects on fixed scenes. In this paper, we propose a novel event-based object tracking framework, called SiamEvent, using Siamese networks via edge-aware similarity learning. Importantly, to find the part having the most similar edge structure of target, we propose to correlate the embedded events at two timestamps to compute the target edge similarity. The Siamese network enables tracking arbitrary target edge by finding the part with the highest similarity score. This extends the possibility of event-based object tracking applied not only for the independent stand-alone moving objects, but also for various settings of the camera and scenes. In addition, target edge initialization and edge detector are also proposed to prevent SiamEvent from the drifting problem. Lastly, we built an open dataset including various synthetic and real scenes to train and evaluate SiamEvent. Extensive experiments demonstrate that SiamEvent achieves up to 15% tracking performance enhancement than the baselines on the real-world scenes and more robust tracking performance in the challenging HDR and motion blur conditions.

연구 동기 및 목표

• 고정된 장면에서 목표물이 정지하거나 비독립적으로 움직일 경우 기존 이벤트 기반 트래커가 실패하는 문제를 해결한다.
• 목표물의 에지 초기화 및 에지 검출기 도입을 통해 추적 시 드리프트 문제를 완화한다.
• 배경과 함께 비독립적으로 움직이는 목표물의 임의의 에지에 대해 조건에 관계없이 강력한 추적을 가능하게 한다.
• 학습 및 평가를 위한 합성 및 실제 이벤트 시퀀스를 포함하는 포괄적인 오픈소스 데이터셋을 구축한다.
• 희소 이벤트 스트림에서 유도된 에지 구조를 활용해 HDR 및 운동 흐림 조건에서의 추적 성능을 향상시킨다.

제안 방법

• EST와 같은 이벤트 표현 방법을 사용해 두 타임스탬프의 이벤트 스트림을 특징 텐서로 임베딩함으로써 에지 구조를 유지한다.
• 임베딩된 목표물 및 검색 이벤트 특징을 공유된 시아모이드 컨볼루션 신경망에 입력하여 깊이 있는 특징을 추출한다.
• 공유된 특징을 상호 상관관계를 통해 유사도 맵을 계산함으로써 목표물과 가장 유사한 영역을 식별한다.
• 에지 인식 유사도 학습을 통해 일치하는 에지 구조를 가진 영역을 우선시함으로써 운동 및 조명 변화에 대한 강건성을 향상시킨다.
• 추적 시작 시 목표물의 명확하고 뚜렷한 에지 표현을 생성하기 위해 목표물 에지 초기화를 도입한다.
• 추적된 에지가 특징적으로 뚜렷하고 충분한지 분류하기 위해 에지 검출기를 구현함으로써 고정된 장면에서의 드리프트를 방지한다.

실험 결과

연구 질문

• RQ1 시아모이드 네트워크 프레임워크 내에서 에지 인식 유사도 학습이 이벤트 기반 객체 추적의 강건성 향상에 기여하는가?
• RQ2 기존 방법이 실패하는 비독립적으로 움직이는 객체 및 고정된 장면에서 제안된 방법의 성능은 어떠한가?
• RQ3 희소 이벤트에서 유도된 에지 구조 정보는 HDR 및 운동 흐림 조건에서 추적 성능 향상에 얼마나 기여하는가?
• RQ4 목표물 에지 초기화 및 에지 검출기가 추적 드리프트 감소에 미치는 영향은 어떠한가?
• RQ5 SiamEvent는 실제 및 합성 데이터에서 최신 기준 이미지 기반 및 이벤트 기반 트래커와 비교해 어떤 성능을 보이는가?

주요 결과

• SiamEvent는 실제 장면에서 최신 기준 이미지 기반 및 이벤트 기반 트래커 대비 15%의 성능 향상을 달성한다.
• 합성 이벤트 데이터셋에서 SiamEvent는 성공 점수 0.404, 정밀도 점수 0.454, 성공률 0.478을 기록하여 베이스라인을 초월한다.
• 에지 인식 유사도 학습 메커니즘 덕분에 카메라가 움직이는 고정된 장면(예: 'arrow' 및 'gs25' 시퀀스)에서도 목표물의 강력한 추적을 가능하게 한다.
• 목표물 에지 초기화로 성공 점수가 0.015 향상되고 정밀도 점수가 0.020 향상되어 드리프트 감소에 핵심적인 역할을 함을 입증한다.
• 에지 검출기가 있는 경우 합성 데이터셋에서 성공률가 0.441(없을 경우)에서 0.478(있을 경우)로 향상되어 정적 장면에서의 성능 저하를 줄인다.
• 실제 이벤트 처리 시 SiamEvent는 25fps로 작동하며, 이벤트가 사전 임베딩된 경우 120fps로 동작하여 실시간 구현 가능성을 입증한다.