[논문 리뷰] EgoTracks: A Long-term Egocentric Visual Object Tracking Dataset

Hao Tang, Kevin Liang외 2명|arXiv (Cornell University)|2023. 01. 09.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

EgoTracks는 첫 번째 대규모 장기적 일인시각 객체 추적 데이터셋을 제공하며, Ego4D 벤치마크에서 유래하여 제자리에서의 재검출, 가림, 크기 변화와 같은 핵심 과제를 해결한다. 본 논문은 크기 증강 및 개선된 검색 영역 설계를 적용한 수정된 STARK 추적기인 EgoSTARK을 제안하여 EgoTracks에서 AO는 10% 향상되고 F-score는 8% 이상 향상되어 일인시각 데이터에서 표준 추적기보다 뚜렷이 뛰어난 성능을 기록한다.

ABSTRACT

Visual object tracking is a key component to many egocentric vision problems. However, the full spectrum of challenges of egocentric tracking faced by an embodied AI is underrepresented in many existing datasets; these tend to focus on relatively short, third-person videos. Egocentric video has several distinguishing characteristics from those commonly found in past datasets: frequent large camera motions and hand interactions with objects commonly lead to occlusions or objects exiting the frame, and object appearance can change rapidly due to widely different points of view, scale, or object states. Embodied tracking is also naturally long-term, and being able to consistently (re-)associate objects to their appearances and disappearances over as long as a lifetime is critical. Previous datasets under-emphasize this re-detection problem, and their "framed" nature has led to adoption of various spatiotemporal priors that we find do not necessarily generalize to egocentric video. We thus introduce EgoTracks, a new dataset for long-term egocentric visual object tracking. Sourced from the Ego4D dataset, this new dataset presents a significant challenge to recent state-of-the-art single-object tracking models, which we find score poorly on traditional tracking metrics for our new dataset, compared to popular benchmarks. We further show improvements that can be made to a STARK tracker to significantly increase its performance on egocentric data, resulting in a baseline model we call EgoSTARK. We publicly release our annotations and benchmark, hoping our dataset leads to further advancements in tracking.

연구 동기 및 목표

• 일상생활 활동에서 자주 발생하는 가림, 재등장, 시점 변화와 같은 실제 도전 과제를 반영하는 대규모 장기적 일인시각 객체 추적 데이터셋이 부족한 문제를 해결한다.
• 단기 추적기의 최신 기술이 일인시각 영상에서 성능이 떨어지는 이유를 분석하며, 이는 일인시각 역학에 일반화되지 않는 공간-시간 사전 지식에 과도하게 의존하기 때문이다.
• 크기 변화 및 장기적 재검출에 대응하기 위해 훈련 및 추론 전략을 조정하여 일인시각 추적에 특화된 강력한 베이스라인 모델인 EgoSTARK을 개발한다.
• 향후 연구를 가능하게 하기 위해 애너테이션, 벤치마크 및 계획 중인 챌린지를 공개함으로써 장기적 일인시각 추적 기술의 발전을 지원한다.

제안 방법

• 일상생활 활동을 담은 비스토리어스, 자연스러운 일인시각 영상으로 구성된 대규모 데이터셋인 Ego4D에서 영상 자료를 확보한다.
• 5,708개의 영상에 걸쳐 총 22,028개의 객체 트랙을 애너테이션 처리하였으며, 평균 영상 길이는 6분으로, 장기 추적, 재검출, 가림 사건에 중점을 두었다.
• 훈련 중에 임의로 검색 영상의 크기를 $ s ∈ [0.5, 1.5] $ 의 요소로 확대하여 스케일 증강을 도입함으로써 급격한 크기 변화에 대한 강건성을 향상시켰다.
• 검색 영역 비율(SRR)과 검색 영상 크기(SIS)를 최적화하여 검색 영역 크기를 조정함으로써 재검출 성능 향상 효과를 확인하였다. 더 큰 검색 영역이 성능 향상에 크게 기여함을 입증하였다.
• 고정된 템플릿 크기 $ 128 \times 128 $ 를 사용하고, 컨텍스트 비율(CR)의 영향을 평가하기 위해 제어함으로써, F-score 결과 기반으로 최적의 CR = 2로 설정하였다.
• EgoSTARK에서 다중 템플릿 융합 전략을 제안하고 평가하여 더 전역적이고 시점 변화에 강인한 객체 표현을 학습함으로써 추적 강건성을 향상시켰다.

Figure 1: A video from the proposed EgoTracks dataset, with yellow clip segments marking when the object ( blowtorch ) is visible. Note the frequent disappearances and reappearances of the object over an 8 minute video, with lengthy absences, necessitating re-detection to track accurately without fa

실험 결과

연구 질문

• RQ1 최신 단일 객체 추적기들이 기존 벤치마크에서는 뛰어난 성능을 보이지만, 일인시각 영상에서는 왜 성능이 떨어지는가?
• RQ2 일정한 운동과 일관된 크기와 같은 공간-시간 사전 지식이 일인시각 추적 환경에 일반화되지 않는 정도는 어느 정도인가?
• RQ3 훈련 및 추론 전략을 어떻게 조정하여 일인시각 영상에서의 큰 시점 변화와 가림에 대응하고 재검출 성능을 향상시킬 수 있는가?
• RQ4 스케일 증강과 확장된 검색 영역이 장기적 일인시각 추적에서 추적기 성능에 미치는 영향은 어떠한가?
• RQ5 다중 템플릿 융합이 일인시각 환경에서 더 전역적이고 시점 변화에 강인한 객체 표현을 가능하게 하여 장기적 추적 성능 향상에 기여할 수 있는가?

주요 결과

• 최신 기술 추적기들, 포함된 SOTA 모델들조차도 EgoTracks에서 기존 벤치마크보다 성능이 크게 떨어지며, 이는 일인시각 고유의 과제로 인한 심각한 성능 격차를 시사한다.
• 훈련 중 스케일 증강을 적용함으로써 STARK의 AO는 거의 10% 향상되고 F-score는 8% 이상 향상되었으며, 이는 크기 변화가 일인시각 추적 실패의 핵심 요인임을 입증한다.
• 검색 영역 크기(SRR 및 SIS)는 컨텍스트 비율보다 F-score에 더 큰 영향을 미치며, 재검출을 위해서는 넓은 공간적 탐색 능력이 필수적임을 확인한다.
• 컨텍스트 비율은 성능에 혼합된 영향을 미치므로, 일반적으로 사용되는 CR = 2는 안정적인 기준으로 유지된다.
• EgoSTARK에서의 다중 템플릿 융합 전략은 측정 가능한 성능 향상을 이끌어내며, 전역적이고 시점 변화에 강인한 표현 방식이 일인시각 추적에 유리함을 시사한다.
• 제안된 EgoSTARK 베이스라인은 EgoTracks에서 표준 STARK보다 뚜렷이 뛰어나며, 장기적 일인시각 추적 분야의 새로운 기준을 설정한다.

Figure 2: EgoTracks is an order of magnitude larger than past long-term VOT datasets, with significantly more tracks (circle area) and object disappearances/appearances in longer videos.