[论文解读] Exploiting Playbacks in Unsupervised Domain Adaptation for 3D Object Detection

Yurong You, Carlos Andres Diaz-Ruiz+5 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Neural Network Applications参考文献 62被引用 5

一句话总结

本文提出了一种新颖的无监督域自适应方法，用于自动驾驶汽车的3D目标检测，通过回放记录的驾驶序列来生成高质量伪标签。通过利用时间相关性与物体动态特性对检测结果进行平滑、插值和外推——尤其是恢复因遮挡或远距离导致的漏检——该方法显著缩小了在五个自动驾驶数据集之间的域差距，检测精度与可靠性均超越基线模型。

ABSTRACT

Self-driving cars must detect other vehicles and pedestrians in 3D to plan safe routes and avoid collisions. State-of-the-art 3D object detectors, based on deep learning, have shown promising accuracy but are prone to over-fit to domain idiosyncrasies, making them fail in new environments -- a serious problem if autonomous vehicles are meant to operate freely. In this paper, we propose a novel learning approach that drastically reduces this gap by fine-tuning the detector on pseudo-labels in the target domain, which our method generates while the vehicle is parked, based on replays of previously recorded driving sequences. In these replays, objects are tracked over time, and detections are interpolated and extrapolated -- crucially, leveraging future information to catch hard cases. We show, on five autonomous driving datasets, that fine-tuning the object detector on these pseudo-labels substantially reduces the domain gap to new driving environments, yielding drastic improvements in accuracy and detection reliability.

研究动机与目标

• 为解决自动驾驶汽车3D目标检测中的关键域偏移问题，即在某一环境（如德国城市）上训练的检测器在新、未见环境（如美国农村）中失效的问题。
• 通过利用先前记录的传感器数据，使自动驾驶车辆能够在无需人工标注数据的情况下适应新驾驶环境。
• 通过离线分析回放的驾驶序列，生成高质量伪标签，以提升目标域中的检测可靠性与精度。
• 通过在回放中利用未来信息，克服实时检测的局限性，特别是因遮挡或远距离导致的漏检。

提出的方法

• 该方法使用记录的LiDAR序列进行离线回放，重新处理检测结果并为目标域生成伪标签。
• 它识别源域中的高置信度检测结果，并建模物体动态特性（位置、速度、尺寸），以在时间上平滑并优化轨迹。
• 通过正向与反向追踪，应用时间插值与外推，以恢复漏检的检测结果——尤其针对远距离或被遮挡的车辆。
• 该方法结合平滑（S）、重缩放（R）、插值（I）与外推（E）以生成鲁棒的伪标签，其中E在远距离恢复中尤为关键。
• 利用自训练方法在生成的伪标签数据上微调检测器，提升其在目标域的泛化能力。
• 整个流程，称为“梦境”（dreaming），在离线状态下运行，可在空闲时段（如夜间停车）于设备上执行。

实验结果

研究问题

• RQ1 通过回放记录的驾驶序列，是否能通过恢复漏检的检测结果，改善3D目标检测中的无监督域自适应？
• RQ2 时间建模与物体动态特性在长距离或遮挡等复杂场景中，能在多大程度上提升伪标签质量？
• RQ3 在回放生成的伪标签上进行微调，是否优于标准自训练或无适应策略在跨域3D检测中的表现？
• RQ4 所提方法是否足以缩小域差距，使在某些距离范围内超越域内性能？

主要发现

• 在Argoverse到KITTI的迁移任务中，该方法在IoU=0.5时，50-80米范围内车辆的AP3D达到31.0%，较ST提升13.0%，较NR提升12.0%。
• 对于PIXOR模型在Argoverse到KITTI的迁移中，该方法在IoU=0.5的30-80米范围内，APBEV达到22.2%，超过域内性能的21.4%，证明无监督域自适应可超越单域检测精度。
• 消融实验表明，外推（E）在远距离检测中贡献最大，使50-80米范围的AP3D从仅使用插值（I）时的23.9%提升至25.7%（含E）。
• 该方法在所有五个评估数据集（KITTI、Argoverse、Lyft、Waymo、nuScenes）中均一致提升了检测精度，展现出强大的泛化能力。
• 该方法显著缩小了域差距，尤其在遮挡与远距离检测等困难情形下，基线模型在此类情况中完全失效。
• 在回放生成的伪标签上微调，其精度高于源模型自身未来预测能力（ST），证明了离线高质量标签生成的价值。