[论文解读] Detecting Road Obstacles by Erasing Them

Krzysztof Lis, Sina Honari+2 more|arXiv (Cornell University)|Dec 25, 2020

Advanced Neural Network Applications被引用 11

一句话总结

该论文提出了一种新颖的单目方法，通过修复可行驶道路区域以消除障碍物，然后利用差异网络识别原始图像与修复后图像之间显著不同的区域，从而检测此前未见过的道路障碍物。该模型仅在Cityscapes的合成数据上进行训练，即可有效泛化至真实世界中的障碍物和多样的路面，且在基准数据集上的表现优于先前方法，无需额外标注。

ABSTRACT

Vehicles can encounter a myriad of obstacles on the road, and it is impossible to record them all beforehand to train a detector. Instead, we select image patches and inpaint them with the surrounding road texture, which tends to remove obstacles from those patches. We then use a network trained to recognize discrepancies between the original patch and the inpainted one, which signals an erased obstacle.

研究动机与目标

• 解决难以在训练数据中收集和标注的罕见、意外道路障碍物检测挑战。
• 开发一种单图像、单目障碍物检测系统，无需微调即可泛化至未见障碍物和路面纹理。
• 通过图像修复技术进行合成数据增强，消除对大规模标注数据集的依赖，实现障碍物检测。
• 提升在真实驾驶场景中对路面纹理变化、标记和透视效应的鲁棒性。

提出的方法

• 该方法采用滑动窗口策略，利用周围像素的上下文信息修复可行驶道路区域，从而有效消除障碍物。
• 训练差异网络以比较原始图像块与其修复版本，学习突出显示显著差异区域，指示障碍物存在。
• 通过将Cityscapes中的标注物体（如行人、标志）重新定位到路面，生成合成障碍物数据，以模拟未见障碍物。
• 使用对比损失训练差异网络，以区分真实障碍物与自然纹理变化或重建伪影。
• 系统基于仅可行驶区域内障碍物相关的假设运行，使用真实标注或现成的路面分割方法进行定位。
• 性能通过新基准数据集和Fishyscapes Lost & Found基准进行评估，推理仅使用单个RGB相机。

实验结果

研究问题

• RQ1 仅使用单张RGB图像且无标注障碍物数据，深度学习模型能否检测此前未见的道路障碍物？
• RQ2 图像修复后结合差异学习是否能有效区分真实障碍物与自然路面纹理变化及标记？
• RQ3 仅在Cityscapes合成障碍物数据上训练的模型能否泛化至包含新型障碍物和路面的现实世界场景？
• RQ4 与现有单目异常检测技术相比，该方法在检测准确率和鲁棒性方面表现如何？

主要发现

• 所提方法在Fishyscapes Lost & Found基准上优于现有单目障碍物检测器，展现出对未见障碍物的强大零样本泛化能力。
• 在新收集的数据集（包含异常物体和多样路面）上达到最先进性能，证实其对分布偏移的鲁棒性。
• 消融实验表明，修复和差异网络均不可或缺：任一移除均导致性能显著下降，其中无修复变体表现最差。
• 与使用基于GAN的图像合成器替代修复的Resynthesis变体相比，所提方法性能更优，表明上下文感知修复在障碍物检测中更有效。
• 即使使用不完美的路面分割结果，该方法仍保持有效性，显示出对可行驶区域检测误差的鲁棒性。
• 尽管计算成本较高（A100上每帧6.7秒），该方法仍能从无标注视频中有效提取障碍物，为未来监督训练提供支持。