[论文解读] GONet: A Semi-Supervised Deep Learning Approach For Traversability Estimation

Noriaki Hirose, Amir Sadeghian+3 more|arXiv (Cornell University)|Mar 8, 2018

Advanced Vision and Imaging参考文献 31被引用 7

一句话总结

GONet 提出了一种基于生成对抗网络（GANs）的半监督深度学习方法，用于从鱼眼相机图像中估计可通行性，利用大量正样本（可通行）和少量负样本（不可通行）进行训练。该方法实现了实时、鲁棒且内存高效的可通行性预测，优于监督基线方法，并可实际部署于移动机器人和可穿戴安全系统中。

ABSTRACT

We present semi-supervised deep learning approaches for traversability estimation from fisheye images. Our method, GONet, and the proposed extensions leverage Generative Adversarial Networks (GANs) to effectively predict whether the area seen in the input image(s) is safe for a robot to traverse. These methods are trained with many positive images of traversable places, but just a small set of negative images depicting blocked and unsafe areas. This makes the proposed methods practical. Positive examples can be collected easily by simply operating a robot through traversable spaces, while obtaining negative examples is time consuming, costly, and potentially dangerous. Through extensive experiments and several demonstrations, we show that the proposed traversability estimation approaches are robust and can generalize to unseen scenarios. Further, we demonstrate that our methods are memory efficient and fast, allowing for real-time operation on a mobile robot with single or stereo fisheye cameras. As part of our contributions, we open-source two new datasets for traversability estimation. These datasets are composed of approximately 24h of videos from more than 25 indoor environments. Our methods outperform baseline approaches for traversability estimation on these new datasets.

研究动机与目标

• 开发一种实用且低成本的可通行性估计方法，最大限度减少对昂贵或危险的负样本训练数据的依赖。
• 仅使用市售鱼眼相机和极少标注数据，在移动机器人上实现实时运行。
• 通过使用 GAN 的半监督学习，提升在未见的室内外环境中的泛化能力和鲁棒性。
• 证明该模型可作为实时视觉紧急停止系统在机器人和视障用户中部署的可行性。
• 为多样化室内外环境中的可通行性估计，贡献两个新的大规模数据集。

提出的方法

• GONet 采用基于 GAN 的架构，其中生成器学习从潜在噪声中合成逼真的可通行场景，判别器则区分真实可通行图像与生成图像。
• 模型使用大量正样本（可通行）图像和少量负样本（不可通行）图像进行训练，实现半监督学习。
• 引入一种自动的时间序列标注程序，通过利用图像序列并强制帧间一致性，提升标注数据效率。
• GONet+T 扩展通过引入循环或序列建模，强制预测的时间一致性，提升平滑性和鲁棒性。
• 提出一种立体鱼眼相机扩展，通过融合多视角输入，提升在强阴影等复杂光照条件下的性能。
• 模型设计为前馈网络，以确保在移动平台上的实时推理，支持在机器人和可穿戴设备上的部署。

实验结果

研究问题

• RQ1 仅使用少量负样本，半监督深度学习模型能否实现高精度的可通行性估计？
• RQ2 基于 GAN 的模型在未见的室内外环境中泛化能力如何，且无需在这些数据上进行显式训练？
• RQ3 强制时间一致性在多大程度上提升了可通行性预测的鲁棒性和平滑性？
• RQ4 该模型能否在计算开销极小的移动硬件上实现有效实时部署？
• RQ5 训练后的模型能否作为机器人或视障人士的可靠视觉紧急停止系统？

主要发现

• GONet 在新引入的数据集上优于完全监督的基线方法，即使负样本极少，也表现出更高的准确性。
• 引入少量负样本显著提升了性能，相较于仅使用正样本，证实了半监督学习的优势。
• GONet+T 在连续图像序列中实现了更平滑、更一致的可通行性预测，减少了闪烁和误报。
• 该模型能有效泛化到未见过的室内外环境，在未接触过的行人拍摄数据上也能正确发出警告。
• 该系统可在移动硬件上实现实时运行，支持在机器人和可穿戴设备（如背包或眼镜）上的部署。
• 该方法成功实现了视觉紧急停止功能，在实时检测到障碍物或跌落边缘时发出声音警告。