[论文解读] Follow Anything: Open-set detection, tracking, and following in real-time

Alaa Maalouf, Ninad Jadhav+6 more|arXiv (Cornell University)|Aug 10, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用 3

一句话总结

该论文提出FAn，一种实时、开放词汇、多模态机器人系统，可通过文本、图像或点击查询检测、跟踪并跟随任意物体。该系统利用DINO和SAM进行视觉特征提取与分割，在配备6–8 GB显存的笔记本电脑上实现6–20 FPS的性能，通过重新检测机制在遮挡后仍能实现鲁棒跟踪。

ABSTRACT

Tracking and following objects of interest is critical to several robotics use cases, ranging from industrial automation to logistics and warehousing, to healthcare and security. In this paper, we present a robotic system to detect, track, and follow any object in real-time. Our approach, dubbed ``follow anything'' (FAn), is an open-vocabulary and multimodal model -- it is not restricted to concepts seen at training time and can be applied to novel classes at inference time using text, images, or click queries. Leveraging rich visual descriptors from large-scale pre-trained models (foundation models), FAn can detect and segment objects by matching multimodal queries (text, images, clicks) against an input image sequence. These detected and segmented objects are tracked across image frames, all while accounting for occlusion and object re-emergence. We demonstrate FAn on a real-world robotic system (a micro aerial vehicle) and report its ability to seamlessly follow the objects of interest in a real-time control loop. FAn can be deployed on a laptop with a lightweight (6-8 GB) graphics card, achieving a throughput of 6-20 frames per second. To enable rapid adoption, deployment, and extensibility, we open-source all our code on our project webpage at https://github.com/alaamaalouf/FollowAnything . We also encourage the reader to watch our 5-minutes explainer video in this https://www.youtube.com/watch?v=6Mgt3EPytrw .

研究动机与目标

• 解决现有封闭集机器人物体跟随系统需在固定物体类别上预先训练的局限性。
• 实现无需为新物体类别重新训练的灵活多模态用户交互（通过文本、图像或点击）。
• 开发一种实时、轻量级系统，可部署于微小型无人机等资源受限的机器人平台。
• 通过自主重新检测机制，在遮挡或跟踪失败时确保系统鲁棒性。
• 弥合最先进视觉基础模型与实时机器人控制回路之间的鸿沟，实现实际部署。

提出的方法

• FAn采用多模态查询接口，允许用户通过文本、图像、边界框或点击指定目标物体。
• 利用分割一切模型（Segment Anything Model, SAM）从输入图像生成多个候选掩码，随后通过DINO进行视觉特征提取，生成像素级嵌入。
• 通过计算DINO图像块嵌入与查询嵌入（来自文本或图像）之间的余弦相似度，执行物体检测，选择匹配度最高的掩码。
• 系统集成实时跟踪流水线，跨帧保持物体状态，并通过重新检测机制在遮挡或跟踪失败时实现恢复。
• 统一的控制回路支持视觉伺服控制，确保在微型无人机上物体始终位于摄像头视场范围内。
• 系统在推理效率方面进行了优化，在配备6–8 GB显存的笔记本电脑上实现6–20 FPS的性能，并已开源以支持可扩展性。

实验结果

研究问题

• RQ1 机器人系统是否能在不预先训练特定类别的情况下，实现实时检测与跟踪任意物体？
• RQ2 多模态查询（文本、图像、点击）在实现高精度、低延迟的开放集物体跟随方面效果如何？
• RQ3 在资源受限环境下，使用DINO-SOLO与SAM+CLIP进行视觉特征提取和检测，在性能上存在何种权衡？
• RQ4 该系统在动态、真实世界环境中对物体遮挡及跟踪恢复的处理能力如何？
• RQ5 轻量化、开源系统在边缘设备（如笔记本电脑或微型无人机）上实现实时机器人控制的可部署程度如何？

主要发现

• FAn在配备6–8 GB显存的笔记本电脑上实现6–20 FPS的实时性能，支持在资源受限的机器人平台部署。
• 系统能成功检测并跟踪通过文本、图像或点击查询指定的物体，即使这些类别在训练中未出现过。
• 使用DINO进行视觉特征提取在速度和特征质量方面优于基于CLIP的方法，尤其在小尺寸或低分辨率物体区域中表现更优。
• 在低分辨率或模糊场景中，DINO-SOLO的检测性能优于SAM+CLIP，尽管其掩码质量略低。
• 重新检测机制能有效在遮挡后恢复跟踪，维持系统的连续性与可靠性。
• 系统在多样化的真实场景中表现出强大泛化能力，包括跟踪无人机、遥控车及手动移动的砖块，且用户输入极少。