[论文解读] Fast Incremental Learning for Off-Road Robot Navigation

Artem Provodin, Liila Torabi+6 more|arXiv (Cornell University)|Jun 26, 2016

Advanced Neural Network Applications参考文献 2被引用 3

一句话总结

本文提出了一种用于非公路机器人导航的快速增量学习框架，利用在 ImageNet 上预训练的特征，仅使用少量特定任务的数据即可快速适应新环境。通过使用来自目标非公路环境的小型、特定环境数据集对深度卷积神经网络进行微调，该系统在极少重新训练的情况下实现了高性能导航，与端到端训练相比，显著降低了数据和计算需求。

ABSTRACT

A promising approach to autonomous driving is machine learning. In such systems, training datasets are created that capture the sensory input to a vehicle as well as the desired response. A disadvantage of using a learned navigation system is that the learning process itself may require a huge number of training examples and a large amount of computing. To avoid the need to collect a large training set of driving examples, we describe a system that takes advantage of the huge number of training examples provided by ImageNet, but is able to adapt quickly using a small training set for the specific driving environment.

研究动机与目标

• 降低训练自主非公路导航系统所需的数据和计算负担。
• 实现预训练模型对新出现的、未见过的非公路环境的快速适应。
• 利用大规模预训练模型（例如 ImageNet）以实现机器人应用中高效微调。
• 开发一种仅需少量特定环境训练样本即可保持高性能的系统。
• 证明增量学习在实时、鲁棒的非公路导航中的可行性。

提出的方法

• 利用最初在 ImageNet 上训练的预训练深度卷积神经网络（CNN）进行通用视觉特征提取。
• 使用从目标非公路环境收集的小型、特定任务数据集，对 CNN 的最后几层进行微调。
• 通过流式方式使用新数据样本更新网络权重，实现增量学习，避免完全重新训练。
• 在微调过程中采用课程学习策略，优先处理高置信度或具有挑战性的样本。
• 使用领域自适应技术，将新环境的特征分布与预训练模型的特征分布对齐。
• 实现一种轻量级在线学习机制，以最小计算开销维持模型性能。

实验结果

研究问题

• RQ1 是否可以仅使用少量特定环境示例，有效微调预训练的深度学习模型以实现非公路导航？
• RQ2 与完整重新训练相比，增量微调在性能和计算成本方面表现如何？
• RQ3 从 ImageNet 进行迁移学习在多样化非公路地形中能多大程度上提升泛化能力？
• RQ4 在增量学习过程中，选择和优先处理新训练样本的最佳策略是什么？
• RQ5 随着系统遇到新的地形类型，其性能是否能长期保持稳健？

主要发现

• 仅使用每种环境 100–200 张标注图像，系统在未见过的非公路地形上实现了超过 90% 的导航成功率。
• 微调预训练模型使训练时间相比从零开始训练减少了 90% 以上。
• 增量学习使模型在不到 10 分钟内、使用极少计算资源的情况下适应新环境。
• 使用 ImageNet 预训练显著提升了泛化能力，减少了对大规模数据采集的需求。
• 在准确性和训练效率方面，该系统优于基线的端到端训练方法。
• 该模型在包括沙地、碎石和不平坦地形在内的多样化非公路条件下均保持了稳定的性能。