[论文解读] 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration

Dong Zhou, Gunaghui Sun+1 more|arXiv (Cornell University)|Nov 21, 2021

Video Surveillance and Tracking Methods参考文献 49被引用 7

一句话总结

本文提出 Track3D，一种基于深度学习的新型3D视觉追踪框架，专为小行星探测而设计。该框架结合了2D单目追踪器与 A3BoxNet——一种轻量级的非完整边界框网络，能够从部分点云中估计3D轴对齐框，在77 FPS下实现SOTA级3D追踪性能（0.669 AO³d），并展现出对2D追踪的强大泛化能力。

ABSTRACT

3D visual tracking is significant to deep space exploration programs, which can guarantee spacecraft to flexibly approach the target. In this paper, we focus on the studied accurate and real-time method for 3D tracking. Considering the fact that there are almost no public dataset for this topic, A new large-scale 3D asteroid tracking dataset is presented, including binocular video sequences, depth maps, and point clouds of diverse asteroids with various shapes and textures. Benefitting from the power and convenience of simulation platform, all the 2D and 3D annotations are automatically generated. Meanwhile, we propose a deep-learning based 3D tracking framework, named as Track3D, which involves 2D monocular tracker and a novel light-weight amodal axis-aligned bounding-box network, A3BoxNet. The evaluation results demonstrate that Track3D achieves state-of-the-art 3D tracking performance in both accuracy and precision, comparing to a baseline algorithm. Moreover, our framework has great generalization ability to 2D monocular tracking performance.

研究动机与目标

• 解决深度学习研究中缺乏大规模、公开可用的3D小行星追踪数据集的问题。
• 开发一种适用于复杂形状与纹理小行星的深空任务的实时、高精度3D视觉追踪系统。
• 通过将6自由度问题分解为3自由度追踪与姿态估计，提升3D追踪性能，重点在于鲁棒的中心点与尺寸估计。
• 通过2D-3D融合提升2D单目追踪性能，证明跨模态泛化的优势。
• 提供一个全面的评估工具包，用于小行星场景下的2D与3D追踪。

提出的方法

• 使用物理引擎（V-REP）构建大规模3D小行星追踪数据集，模拟双目视频序列、深度图与点云，涵盖148,500个具有不同形状、纹理与光照条件的小行星实例。
• 利用仿真平台自动生成2D与3D标注（边界框、中心点、尺寸标签），确保一致性和可扩展性。
• 设计 Track3D，一种两阶段框架：首先，2D单目追踪器在图像空间中估计目标外观与运动；其次，A3BoxNet从部分点云输入中推断3D轴对齐边界框。
• 将 A3BoxNet 实现为一种轻量级、非完整的检测网络，仅使用目标部分点云中的1,024个采样点，预测3D中心与尺寸。
• 采用联合损失函数，结合Huber损失用于中心回归与交叉熵损失用于尺寸类别分类，并引入残差预测以提升精度。
• 基于内参（焦距、分辨率、视场角）利用透视投影原理推导相机投影矩阵，以支持圆锥体提议生成。

实验结果

研究问题

• RQ1 基于深度学习的3D视觉追踪框架是否能在具有部分观测的复杂小行星环境中实现高精度与实时性能？
• RQ2 通过2D-3D融合，3D追踪框架在多大程度上能提升2D单目追踪性能？
• RQ3 轻量级非完整边界框网络（A3BoxNet）在从部分点云中估计3D轴对齐框方面效果如何？
• RQ4 所提出的3D追踪框架在不同2D追踪主干网络上的泛化能力如何，尤其是在2D追踪器性能较弱时？
• RQ5 该框架在新构建的大规模、多样化3D小行星追踪数据集上的表现如何？

主要发现

• Track3D 在77 FPS下实现0.669 AO³d（3D平均重叠率）的3D追踪性能，精度与速度均优于基线方法。
• A3BoxNet 网络实现0.712 AO³d 与 0.345 ACE³d（3D平均中心误差），最高可达281.5 FPS，展现出在部分点云上的高效率与鲁棒性。
• 通过2D-3D融合，该框架显著提升了2D单目追踪性能，即使在使用性能较差的2D追踪器时亦表现出色，表明其具备强大的泛化能力。
• 所提出的3D小行星追踪数据集包含148,500个标注序列，涵盖多种类型的小行星，是该任务首个大规模公开基准。
• 消融实验表明，结合残差预测与尺寸类别分类的联合损失函数可有效提升中心点与尺寸估计的精度。
• 基于视场角与分辨率推导相机矩阵，可实现精确的圆锥体提议生成，这对从2D观测中进行3D检测至关重要。