[论文解读] Audio-Visual Self-Supervised Terrain Type Discovery for Mobile Platforms

Akiyoshi Kurobe, Yoshikatsu Nakajima+2 more|arXiv (Cornell University)|Oct 13, 2020

Video Surveillance and Tracking Methods参考文献 36被引用 4

一句话总结

该论文提出了一种自监督的多模态方法，通过在音频和视觉特征之间交替切换，以在移动平台上发现地形类型，利用自适应聚类生成伪标签来训练基于视觉的卷积神经网络（CNN）。该方法在地形分类中实现了超过85%的准确率，显著优于单模态基线方法，通过利用音频对视觉噪声的鲁棒性以及视觉的判别能力，在特征切换中实现了优势互补。

ABSTRACT

The ability to both recognize and discover terrain characteristics is an important function required for many autonomous ground robots such as social robots, assistive robots, autonomous vehicles, and ground exploration robots. Recognizing and discovering terrain characteristics is challenging because similar terrains may have very different appearances (e.g., carpet comes in many colors), while terrains with very similar appearance may have very different physical properties (e.g. mulch versus dirt). In order to address the inherent ambiguity in vision-based terrain recognition and discovery, we propose a multi-modal self-supervised learning technique that switches between audio features extracted from a mic attached to the underside of a mobile platform and image features extracted by a camera on the platform to cluster terrain types. The terrain cluster labels are then used to train an image-based convolutional neural network to predict changes in terrain types. Through experiments, we demonstrate that the proposed self-supervised terrain type discovery method achieves over 80% accuracy, which greatly outperforms several baselines and suggests strong potential for assistive applications.

研究动机与目标

• 为解决基于视觉的地形识别中的模糊性问题，即相似外观掩盖了不同的物理特性（例如，碎屑与泥土）
• 通过在自监督框架中融合音频与视觉模态，克服单模态传感的局限性（例如，光照或物体引起的视觉噪声、音频干扰）
• 开发一种实用且低成本的地形类型发现方法，仅使用机载麦克风和摄像头，适用于辅助型与探索型机器人
• 创建一个免费使用的数据集，包含同步的音频与图像数据，用于地形摩擦与视觉外观研究
• 利用来自多模态聚类的伪标签训练基于视觉的卷积神经网络（CNN），实现稳健的地形分类

提出的方法

• 该方法首先基于音频聚类生成初始的地形类型时间片段，使用安装在机器人底部的麦克风提取的特征
• 在每个时间片段内，对音频和视觉特征进行平均处理，以减少遮挡或环境干扰带来的噪声
• 对平均后的特征应用第二次、更大规模的聚类，以生成更稳定且一致的地形片段
• 在聚类过程中，系统自适应地在音频和视觉特征之间切换，以利用各模态的优势——音频用于稳定检测物理属性，视觉用于基于外观的区分
• 将最终聚类生成的伪标签用于训练基于ResNet50的卷积神经网络（CNN），实现端到端的地形类型预测，采用自监督方式
• 该框架使用序列检测与层次聚类方法，优化片段边界并提升聚类的鲁棒性

实验结果

研究问题

• RQ1 多模态自监督学习是否能通过更有效地结合音频与视觉线索，优于单模态方法实现地形类型发现？
• RQ2 在聚类过程中自适应地在音频与视觉特征之间切换，如何影响地形聚类的准确率与鲁棒性？
• RQ3 从音视频聚类生成的伪标签，能在多大程度上提升基于视觉的地形分类器性能？
• RQ4 所提出的方法是否能在具有不同地形外观与物理特性的多样化室内外环境中实现泛化？

主要发现

• 所提出的自监督多模态聚类方法在地形类型分类中实现了超过85%的平均准确率，显著优于单模态基线方法
• 在地毯上达到87.3%的准确率，在沥青路上达到95.7%，在路面上达到95.5%，表明在多种地形类型上均表现出色
• 在聚类过程中在音频与视觉模态之间切换特征，相比特征拼接，显著提升了聚类准确率，表现为更高的NMI分数与更优的定性分割效果
• 基于所提聚类框架生成的伪标签训练的CNN，能够通过学习多模态一致性，正确区分外观相似的地形（如不同类型的地毯）
• 定性结果表明，该切换方法减少了过分割（在纯音频方法中常见）与噪声敏感性（在纯视觉方法中常见），尤其在光照变化或地板图案复杂的情况下表现更优
• 所构建的数据集包含真实世界室内外环境中同步采集的音频与图像数据，已公开发布，可支持未来地形感知研究