[论文解读] Learning-on-the-Drive: Self-supervised Adaptation of Visual Offroad Traversability Models

Eric Chen, Cherie Ho+3 more|arXiv (Cornell University)|Jun 27, 2023

Robotics and Sensor-Based Localization被引用 6

一句话总结

该论文提出 ALTER，一种自监督的在线自适应框架，通过利用近程激光雷达扫描实时生成密集、长距离、细粒度的像素级标签，从而提升视觉非公路路径可通行性估计性能。通过持续使用这些自标注数据微调视觉模型，ALTER 在新型环境中的路径可通行性估计性能相比仅使用激光雷达的方法提升高达 52.5%，相比非自适应视觉基线模型提升 38.1%，且仅需不到一分钟的在线学习时间。

ABSTRACT

Autonomous offroad driving is essential for applications like emergency rescue, military operations, and agriculture. Despite progress, systems struggle with high-speed vehicles exceeding 10m/s due to the need for accurate long-range (> 50m) perception for safe navigation. Current approaches are limited by sensor constraints; LiDAR-based methods offer precise short-range data but are noisy beyond 30m, while visual models provide dense long-range measurements but falter with unseen scenarios. To overcome these issues, we introduce ALTER, a learning-on-the-drive perception framework that leverages both sensor types. ALTER uses a self-supervised visual model to learn and adapt from near-range LiDAR measurements, improving long-range prediction in new environments without manual labeling. It also includes a model selection module for better sensor failure response and adaptability to known environments. Testing in two real-world settings showed on average 43.4% better traversability prediction than LiDAR-only and 164% over non-adaptive state-of-the-art (SOTA) visual semantic methods after 45 seconds of online learning.

研究动机与目标

• 解决在新型、未见过的非公路环境中准确进行长距离可通行性估计的挑战，因为视觉模型通常因分布偏移而失效。
• 克服激光雷达的局限性，其在 30 米以外变得嘈杂，且提供稀疏、粗糙的估计结果，尤其是在远距离时。
• 利用长距离处的密集视觉特征，实现细粒度的连续可通行性预测（例如：小径 vs. 高草丛 vs. 障碍物）。
• 开发一种自监督的在线学习框架，利用累积的激光雷达数据实时自适应视觉模型，无需人工标注。
• 在顺序适应新环境时确保模型的鲁棒性，并防止灾难性遗忘。

提出的方法

• 随时间累积近程激光雷达扫描数据，构建高精度、长距离的三维点云地图，提升标签密度和精度，突破单次扫描的限制。
• 从累积的激光雷达地图中提取细粒度的三维可通行性特征（例如：地形类型、风险等级），生成连续、密集的三维标签。
• 将三维可通行性标签投影到对应的二维图像上，为视觉模型生成密集、像素级、长距离的监督信号。
• 以在线、自监督的方式持续使用最新的自标注数据对基于视觉的可通行性模型进行微调，以适应新环境。
• 使用在 ImageNet 上预训练的编码器作为视觉主干网络，以提升在线自适应过程中的泛化能力和收敛速度。
• 应用弹性权重巩固（Elastic Weight Consolidation, EWC）损失，以缓解在先前学习之后适应新环境时可能发生的灾难性遗忘。

Figure 1 : We present ALTER , an offroad perception framework that adapts on-the-drive to provide accurate long-range traversability prediction. We validate our adaptive method on two real-world offroad scenarios where it is able to differentiate between key terrains (trail, grass, obstacles) at a f

实验结果

研究问题

• RQ1 自监督的在线自适应视觉可通行性模型是否能显著提升在未见过的非公路环境中的长距离预测准确率？
• RQ2 与单次扫描激光雷达相比，累积的激光雷达扫描是否能实现更准确、更密集的三维空间可通行性细粒度标注？
• RQ3 与非自适应基线相比，使用激光雷达生成的自标注数据进行在线学习是否能提升视觉模型的泛化能力和鲁棒性？
• RQ4 在适应新环境后，模型是否能保持在先前学习环境中的性能表现？EWC 在防止灾难性遗忘方面的有效性如何？
• RQ5 模型在新地形类型中实现可靠、细粒度可通行性估计所需的最短适应时间是多少？

主要发现

• ALTER 在未见过的非公路环境中，相比仅使用激光雷达的估计方法，可通行性估计准确率最高提升 52.5%。
• 与非自适应视觉基线相比，该方法在新环境中的性能提升达 38.1%，证明了在线自适应的优势。
• 使用累积的激光雷达扫描进行标注后，山地环境的平均均方误差（MSE）降低至 2.81，林地环境降低至 4.83，而未使用累积数据时分别为 6.85 和 7.93。
• 与从随机初始化训练相比，使用 ImageNet 预训练视觉编码器可使 MSE 降低 16.5%，凸显其在在线自适应中的重要性。
• 在适应新环境后，模型在先前学习环境中的性能仍保持良好，且 EWC 进一部提升了平均性能，减少了遗忘现象。
• 仅需一分钟的联合数据采集与训练时间，模型即可在复杂、未见过的地形中实现高质量、细粒度的长距离可通行性预测。

Figure 2 : ALTER framework: Our adaptive approach estimates traversability from current images using models trained online with new LiDAR data. Online Labeling : We accumulate LiDAR scans and label in 3D their traversability costs given LIDAR features. The 3D labels are then projected onto the image