[논문 리뷰] Revisiting Color-Event based Tracking: A Unified Network, Dataset, and Metric

Chuanming Tang, Xiao Wang외 6명|arXiv (Cornell University)|2022. 11. 20.

Advanced Memory and Neural Computing인용 수 14

한 줄 요약

이 논문은 복합적인 색상 및 이벤트 데이터를 병합하여 처리하는 통합형 단계별 추적 네트워크인 CEUTrack을 제안한다. 이는 볼록체 표현과 공유된 비전 트랜스포머 기반 구조를 통해 실시간 성능(75 FPS 이상)과 최신 기준 성능을 동시에 달성한다. 또한 90개의 카테고리에 걸쳐 1354개의 영상 시퀀스를 포함하는 대규모 COESOT 데이터셋과 다양한 난이도 수준에서 추적의 견고성을 보다 잘 평가할 수 있도록 설계된 새로운 평가 지표(BOC)를 도입한다.

ABSTRACT

Combining the Color and Event cameras (also called Dynamic Vision Sensors, DVS) for robust object tracking is a newly emerging research topic in recent years. Existing color-event tracking framework usually contains multiple scattered modules which may lead to low efficiency and high computational complexity, including feature extraction, fusion, matching, interactive learning, etc. In this paper, we propose a single-stage backbone network for Color-Event Unified Tracking (CEUTrack), which achieves the above functions simultaneously. Given the event points and RGB frames, we first transform the points into voxels and crop the template and search regions for both modalities, respectively. Then, these regions are projected into tokens and parallelly fed into the unified Transformer backbone network. The output features will be fed into a tracking head for target object localization. Our proposed CEUTrack is simple, effective, and efficient, which achieves over 75 FPS and new SOTA performance. To better validate the effectiveness of our model and address the data deficiency of this task, we also propose a generic and large-scale benchmark dataset for color-event tracking, termed COESOT, which contains 90 categories and 1354 video sequences. Additionally, a new evaluation metric named BOC is proposed in our evaluation toolkit to evaluate the prominence with respect to the baseline methods. We hope the newly proposed method, dataset, and evaluation metric provide a better platform for color-event-based tracking. The dataset, toolkit, and source code will be released on: \url{https://github.com/Event-AHU/COESOT}.

연구 동기 및 목표

• 특징 추출, 융합, 매칭을 위한 별도의 모듈에 의존하는 기존 다단계 색상-이벤트 추적 프레임워크의 비효율성과 높은 복잡도 문제를 해결하기 위해.
• 색상 및 이벤트 처리를 공유된 기반 구조 내에서 통합하여 효율성과 성능을 향상시킬 수 있는 단일 단계형 엔드 투 엔드 학습 가능한 추적 네트워크를 설계하기 위해.
• 색상-이벤트 추적을 위한 대규모 고품질 벤치마크의 부족 문제를 해소하기 위해 다양한 실제 시퀀스를 포함한 COESOT 데이터셋을 제안하기 위해.
• 표준 IoU 기반 지표 외에도 프레임 난이도와 추적 대상의 눈에 띄는 정도를 고려한 새로운 평가 지표(BOC)를 제안하여 평가의 정교함을 향상시키기 위해.
• 연구를 가속화하기 위해 코드, 데이터셋, 도구를 포함하는 포괄적인 오픈소스 플랫폼을 제공하기 위해.

제안 방법

• 효율적인 처리를 위해 원시 이벤트 스트림을 볼록체 표현으로 변환하여 시공간적 동역학을 유지하기 위해.
• 색상 프레임과 이벤트 볼록체에서 정렬된 템플릿 및 검색 영역 패치를 추출하여 공간 일관성을 유지하기 위해.
• 추출된 영역을 학습 가능한 토큰으로 변환하고, 다중 모odal 특징 상호작용을 위해 적응형 어댑터를 갖춘 통합 비전 트랜스포머 기반 구조에 입력하기 위해.
• 통합된 특징 표현에서 직접 바운딩 박스를 예측하기 위해 경량 추적 헤드를 사용하기 위해.
• 밀도 높은 이벤트 스트림을 처리하고 추론 중 계산 부담을 줄이기 위해 볼록체 상위 선택 전략을 도입하기 위해.
• 프레임 난이도와 대상의 가시성에 기반해 추적 성능을 측정하는 새로운 평가 지표인 BOC(Bounding Box Conspicuousness)를 제안하기 위해.

실험 결과

연구 질문

• RQ1 통합형 단일 단계 네트워크가 색상-이벤트 추적에서 다단계 융합 파이프라인을 효과적으로 대체하면서도 속도와 정확도를 향상시킬 수 있는가?
• RQ2 이벤트 표현 방식 중 볼록체 표현 방식이 이벤트 수 또는 재구성 방식과 비교해 추적 성능 및 효율성 측면에서 어떻게 다른가?
• RQ3 제안된 COESOT 데이터셋이 기존 벤치마크에 비해 색상-이벤트 추적기의 평가에 얼마나 향상된 기여를 하는가?
• RQ4 기존의 표준 IoU 기반 지표에 비해 새로운 BOC 지표가 실제 추적 난이도를 더 잘 반영하는가?
• RQ5 현재 색상-이벤트 추적기의 주요 실패 원인은 무엇이며, 아키텍처 및 훈련 개선을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• CEUTrack는 표준 하드웨어에서 75 FPS 이상의 추론 속도를 달성하여 실시간 성능을 입증하였으며, 이는 이전 방법들이 20 FPS 이하로 작동하는 것과는 현저히 높은 수준이다.
• 제안된 CEUTrack는 COESOT 벤치마크에서 기존 추적기들보다 평균 정밀도와 다양한 도전적인 시퀀스에서의 견고성 측면에서 새로운 최고 성능을 달성하였다.
• COESOT 데이터셋은 90개의 카테고리에 걸쳐 총 1354개의 영상 시퀀스를 포함하고 있으며, 빠른 운동, 가림, 저조도, 과노출 등의 다양한 도전 과제를 수반하여 향후 연구를 위한 포괄적인 벤치마크를 제공한다.
• 새로운 BOC 지표는 예측된 바운딩 박스가 방해 요소와 배경 혼잡도에 비해 눈에 띄는 정도를 측정하여, 표준 IoU 지표보다 더 정교한 평가를 가능하게 하였다.
• 실패 분석 결과, CEUTrack는 유사한 방해 요소나 밀도 높은 객체 상황에서 어려움을 겪는 것으로 나타났으며, 향후 연구에서 방해 요소에 대한 저항력을 강화할 필요가 있음을 시사한다.
• 데이터셋은 이벤트 표현의 다양한 형식(수치, 재구성, 타임서피스, 볼록체)과 원시 .aedat4 파일을 포함하여 실험의 유연성과 향후 방법 개발을 가능하게 한다.