[论文解读] Large-Scale Object Discovery and Detector Adaptation from Unlabeled Video

Aljoša Ošep, Paul Voigtlaender+3 more|arXiv (Cornell University)|Dec 23, 2017

Advanced Neural Network Applications参考文献 19被引用 10

一句话总结

本文提出了一种自监督框架，仅使用来自移动平台的未标注视频，实现大规模对象发现与检测器适配。通过在三个数据集的37万帧中挖掘对象轨迹，并在学习到的嵌入空间中进行基于外观的聚类，该方法发现了新型对象类别（例如，交通锥、施工围栏），并微调已知类别的检测器，在KITTI数据集上以极少的标注成本实现了检测性能的提升。

ABSTRACT

We explore object discovery and detector adaptation based on unlabeled video sequences captured from a mobile platform. We propose a fully automatic approach for object mining from video which builds upon a generic object tracking approach. By applying this method to three large video datasets from autonomous driving and mobile robotics scenarios, we demonstrate its robustness and generality. Based on the object mining results, we propose a novel approach for unsupervised object discovery by appearance-based clustering. We show that this approach successfully discovers interesting objects relevant to driving scenarios. In addition, we perform self-supervised detector adaptation in order to improve detection performance on the KITTI dataset for existing categories. Our approach has direct relevance for enabling large-scale object learning for autonomous driving.

研究动机与目标

• 通过利用大规模无标注视频进行对象发现与检测器适配，降低自动驾驶中的标注成本。
• 实现在无任何人工标注边界框的情况下，全自动地从移动采集的视频中挖掘对象轨迹。
• 通过追踪外观的无监督聚类，发现此前未见过的、场景特定的对象类别。
• 通过使用挖掘出的轨迹作为伪标签数据，对预训练检测器（如Faster R-CNN）进行自监督微调，提升已知类别（如汽车、行人）的检测性能。
• 在真实世界数据集（如KITTI、牛津Robotcar和史基浦机场）上展示该方法的可行性和可扩展性。

提出的方法

• 采用与类别无关的对象追踪流程，从多样化驾驶与机器人场景的无标注视频序列中提取高质量对象轨迹。
• 从追踪到的对象图像块中提取外观嵌入，并在该嵌入空间中执行层次聚类，以发现新型、此前未知的对象类别。
• 采用自监督检测器适配方法，利用挖掘出的轨迹作为伪标签数据，对预训练检测器（如Faster R-CNN）进行微调。
• 基于几何约束（如地面或高大结构）实施候选框子选择，以提升负样本采样与检测性能。
• 提出一种新颖的候选框子选择策略，排除覆盖追踪器未检测到的潜在对象区域的锚框，从而减少噪声负样本。
• 对于发现的类别，随机初始化一个新的分类头，并在聚类后的轨迹上端到端训练，无需任何人工标注。

实验结果

研究问题

• RQ1 能否从真实驾驶与机器人场景中移动平台采集的大规模无标注视频中可靠地挖掘出对象轨迹？
• RQ2 基于追踪对象特征的外观聚类是否能在无监督条件下有效发现新型、场景特定的对象类别？
• RQ3 利用挖掘出的轨迹进行自监督微调，能在多大程度上提升对已知类别（如汽车、行人）的检测性能？
• RQ4 基于几何约束的候选框子选择在提升检测器适配性能方面有多有效？
• RQ5 能否仅基于聚类结果而无需任何人工标注，成功训练出用于自动发现类别的检测器？

主要发现

• 该方法成功从三个大型数据集中挖掘出超过37万帧的对象轨迹，证明了其在多样化环境中的鲁棒性与泛化能力。
• KITTI数据集上的检测器性能显著提升，尤其在自行车和行人类别上提升最为明显，尤其在牛津数据集中表现突出。
• 基于几何约束的候选框子选择方法显著提升了行人检测性能，表明其在减少噪声负样本方面的有效性。
• 使用未知轨迹作为负样本对性能影响极小，表明该方法在存在潜在污染的情况下仍具备实际鲁棒性。
• 定性结果表明，基于自动发现聚类训练的检测器能够以令人满意的精度检测到如交通锥、施工围栏等场景特定对象。
• 创建了KITTI轨迹数据集（KTC），并手动划分为33个独立对象类别，为未来研究提供了宝贵的基准。