[论文解读] EgoTracks: A Long-term Egocentric Visual Object Tracking Dataset

Hao Tang, Kevin Liang+2 more|arXiv (Cornell University)|Jan 9, 2023

Video Surveillance and Tracking Methods被引用 6

一句话总结

EgoTracks 引入了首个大规模、长期的第一人称视觉目标追踪数据集，源自 Ego4D 基准，旨在解决第一人称视频中重新检测、遮挡和尺度变化等关键挑战。本文提出 EgoSTARK，一种经过尺度增强和搜索区域设计优化的 STARK 跟踪器，在 EgoTracks 上实现 AO 提升 10% 以及 F-score 提升 8% 以上，显著优于标准追踪器在第一人称数据上的表现。

ABSTRACT

Visual object tracking is a key component to many egocentric vision problems. However, the full spectrum of challenges of egocentric tracking faced by an embodied AI is underrepresented in many existing datasets; these tend to focus on relatively short, third-person videos. Egocentric video has several distinguishing characteristics from those commonly found in past datasets: frequent large camera motions and hand interactions with objects commonly lead to occlusions or objects exiting the frame, and object appearance can change rapidly due to widely different points of view, scale, or object states. Embodied tracking is also naturally long-term, and being able to consistently (re-)associate objects to their appearances and disappearances over as long as a lifetime is critical. Previous datasets under-emphasize this re-detection problem, and their "framed" nature has led to adoption of various spatiotemporal priors that we find do not necessarily generalize to egocentric video. We thus introduce EgoTracks, a new dataset for long-term egocentric visual object tracking. Sourced from the Ego4D dataset, this new dataset presents a significant challenge to recent state-of-the-art single-object tracking models, which we find score poorly on traditional tracking metrics for our new dataset, compared to popular benchmarks. We further show improvements that can be made to a STARK tracker to significantly increase its performance on egocentric data, resulting in a baseline model we call EgoSTARK. We publicly release our annotations and benchmark, hoping our dataset leads to further advancements in tracking.

研究动机与目标

• 解决缺乏反映真实世界挑战（如频繁遮挡、重新出现和视角变化）的大规模、长期第一人称视觉目标追踪数据集的问题。
• 识别最先进短时追踪器在第一人称视频上表现不佳的原因，即过度依赖在第一人称动态中无法泛化的时空先验。
• 通过调整训练和推理策略以应对尺度变化和长期重新检测，开发一种专为第一人称追踪设计的鲁棒基线模型 EgoSTARK。
• 通过公开发布标注、基准和计划中的挑战赛，推动未来在长期第一人称追踪方面的研究。

提出的方法

• 从 Ego4D 数据集获取视频，该数据集是大规模、未经脚本的、真实世界中的第一人称视频集合，涵盖日常活动。
• 在 5,708 段视频中对 22,028 个物体轨迹进行标注，平均时长为 6 分钟，重点突出长期追踪、重新检测和遮挡事件。
• 在训练过程中引入尺度增强，通过随机缩放搜索图像，缩放因子为 $ s \in [0.5, 1.5] $，提升对快速尺度变化的鲁棒性。
• 通过搜索区域比例（SRR）和搜索图像尺寸（SIS）优化搜索区域大小，发现更大的搜索区域显著提升重新检测性能。
• 使用固定的模板尺寸 $ 128 \times 128 $，并通过控制上下文比例（CR）评估其影响，基于 F-score 结果确定 CR = 2 为最优。
• 提出并评估 EgoSTARK 中的多模板融合策略，以学习更具全局性、视角可变的物体表征，提升追踪鲁棒性。

Figure 1: A video from the proposed EgoTracks dataset, with yellow clip segments marking when the object ( blowtorch ) is visible. Note the frequent disappearances and reappearances of the object over an 8 minute video, with lengthy absences, necessitating re-detection to track accurately without fa

实验结果

研究问题

• RQ1 为何最先进单目标追踪器在第一人称视频上表现不佳，尽管其在现有基准上表现优异？
• RQ2 时空先验（如渐进运动和一致尺度）在多大程度上无法泛化到第一人称追踪场景？
• RQ3 如何调整训练和推理策略，以提升在第一人称视频中对大规模视角变化和遮挡的重新检测能力与鲁棒性？
• RQ4 尺度增强和扩展的搜索区域对长期第一人称追踪中追踪器性能有何影响？
• RQ5 多模板融合是否能通过在第一人称设置中实现更全局、视角可变的物体表征，从而提升长期追踪性能？

主要发现

• 最先进追踪器（包括 SOTA 模型）在 EgoTracks 上的得分显著低于在传统基准上的表现，表明由于第一人称特有的挑战，存在显著的性能差距。
• 训练过程中引入尺度增强使 STARK 的 AO 提升近 10%，F-score 提升超过 8%，证明尺度变化是导致第一人称追踪失败的关键因素。
• 更大的搜索区域尺寸（通过 SRR 和 SIS 实现）对 F-score 的影响高于上下文比例，证实重新检测需要更强的全局空间搜索能力。
• 上下文比例对性能影响复杂，因此保留常见的 CR = 2 作为稳定基线。
• EgoSTARK 中的多模板融合带来可测量的性能提升，表明全局、视角可变的表征对第一人称追踪有益。
• 所提出的 EgoSTARK 基线在 EgoTracks 上显著优于标准 STARK，为长期第一人称追踪建立了新基准。

Figure 2: EgoTracks is an order of magnitude larger than past long-term VOT datasets, with significantly more tracks (circle area) and object disappearances/appearances in longer videos.