[论文解读] Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art

Joel Janai, Fatma Güney+2 more|arXiv (Cornell University)|Apr 18, 2017

Advanced Neural Network Applications被引用 144

一句话总结

对自动驾驶感知问题、数据集和最先进方法的全面综述，包含基准分析和一个伴随的在线资源。

ABSTRACT

Recent years have witnessed enormous progress in AI-related fields such as computer vision, machine learning, and autonomous vehicles. As with any rapidly growing field, it becomes increasingly difficult to stay up-to-date or enter the field as a beginner. While several survey papers on particular sub-problems have appeared, no comprehensive survey on problems, datasets, and methods in computer vision for autonomous vehicles has been published. This book attempts to narrow this gap by providing a survey on the state-of-the-art datasets and techniques. Our survey includes both the historically most relevant literature as well as the current state of the art on several specific topics, including recognition, reconstruction, motion estimation, tracking, scene understanding, and end-to-end learning for autonomous driving. Towards this goal, we analyze the performance of the state of the art on several challenging benchmarking datasets, including KITTI, MOT, and Cityscapes. Besides, we discuss open problems and current research challenges. To ease accessibility and accommodate missing references, we also provide a website that allows navigating topics as well as methods and provides additional information.

研究动机与目标

• 调查用于驾驶的自主视觉感知的历史与关键挑战。
• 总结感知任务中的主要数据集、基准以及评估指标。
• 评述检测、跟踪、分割、重建、运动估计和场景理解的最先进方法。
• 讨论开放问题、研究挑战以及自动驾驶端到端学习的发展方向。
• 通过在线工具提供对主题和方法的便捷导航。

提出的方法

• 对模块化自动驾驶流水线和端到端方法中的感知相关模块进行系统性综述。
• 对流行数据集（如 KITTI、MOT、Cityscapes）上的最先进技术进行对比分析。
• 讨论与自动驾驶视觉相关的传感器套件、相机模型和标定。
• 概述数据集和基准测试，包括合成数据生成，提供定性和定量见解。
• 提供一个在线互动资源，用于可视化所调研的论文和方法。

实验结果

研究问题

• RQ1 在自动驾驶视觉研究中，主要的感知任务、数据集和基准测试是什么？
• RQ2 在驾驶场景中，检测、跟踪、分割、重建和运动估计的目前最先进方法是什么？
• RQ3 不同数据集和基准在真实感、多样性和评估方面的比较如何？
• RQ4 在自动驾驶感知和端到端学习方法方面，尚存的开放问题与挑战是什么？
• RQ5 研究人员如何高效地导航该领域并获取信息摘要及研究工作之间的关系？

主要发现

• 本文对识别、重建、运动估计、跟踪、场景理解以及端到端驾驶等感知相关模块和端到端方法进行了综述。
• 它分析了在 KITTI、MOT 和 Cityscapes 等具有挑战性基准上的最先进技术。
• 它讨论了鲁棒的自动驾驶视觉系统所需的传感器套件、相机模型和标定。
• 提供了一个在线交互式工具，用于导航主题、方法和参考文献。
• 该工作强调了自动视觉感知和端到端驾驶中的开放问题与研究挑战。
• 合成数据生成及其在基准测试和训练中的作用作为数据集讨论的一部分被回顾。