[论文解读] AU Dataset for Visuo-Haptic Object Recognition for Robots

Lasse Emil R. Bonner, Daniel Daugaard Buhl+2 more|arXiv (Cornell University)|Jan 1, 2021

Robot Manipulation and Learning被引用 4

一句话总结

本论文提出了AU数据集，用于视觉-触觉物体识别，这是一个多模态数据集，包含63种物体在受控视觉和触觉模糊条件下的视觉、肌动觉和触觉（基于振动）数据。该数据集通过机器人手（RH8D）和NAO机器人搭载接触麦克风收集，支持机器人在真实感知挑战下进行传感器融合研究。

ABSTRACT

This directory contains the data, object list, thimble's 3D design and the technical report (Bonner2021AU.pdf) describing object exploration procedures, experimental set, folder structure, etc.<br><br><b>Citing this dataset:</b><br>Bonner, L. E. R., Buhl, D. D., Kristensen, K., &amp; Navarro-Guerrero, N. (2021). AU Dataset for Visuo-Haptic Object Recognition for Robots. figshare. https://doi.org/10.6084/m9.figshare.14222486<br><br><b>Related References:</b><br>Toprak, S., Navarro-Guerrero, N., &amp; Wermter, S. (2018). Evaluating Integration Strategies for Visuo-Haptic Object Recognition. Cognitive Computation, 10(3), 408–425. https://doi.org/10.1007/s12559-017-9536-7.<br><br><b>Contact:</b><br>For more information, please get in touch with Nicolás Navarro-Guerrero.

研究动机与目标

• 解决机器人视觉-触觉物体识别领域中公开可用、大规模多模态数据集稀缺的问题。
• 创建一个具有受控视觉和触觉模糊性的数据集，以挑战并评估多模态融合技术。
• 为测试机器人感知中的传感器融合算法提供标准化基准。
• 支持通过机器人手和手臂上接触麦克风捕获的振动信号进行触觉感知研究。

提出的方法

• 数据采集采用Lederman和Klatzky提出的方法：视觉扫描、肌动觉抓取与包裹、以及触觉横向运动与压力施加。
• 使用一个人形机器人手（RH8D）通过关节电流（mA）和手指位置（度）捕获肌动觉数据，基线电流为30mA。
• 通过安装在NAO机器人和RH8D手上的五个夹式接触麦克风，以400kHz采样率记录触觉探索产生的振动信号。
• 视觉数据由每种物体的四张高分辨率（4640×3472）图像组成：三张表面图像和一张背景图像用于减去背景噪声。
• 为每项操作记录背景噪声，以便在信号处理过程中实现噪声补偿。
• 所有数据——视觉、肌动觉和振动——均以结构化CSV和图像文件形式存储，每种物体在三次重新定位下均采用一致命名。

实验结果

研究问题

• RQ1 多模态融合策略在解决物体识别中的视觉和触觉模糊性方面有多高效？
• RQ2 通过接触麦克风捕获的振动信号在多大程度上可替代传统触觉传感器用于物体感知？
• RQ3 在受控机器人操作下，肌动觉数据（电流和关节位置）能否可靠推断物体重量和形状？
• RQ4 包含背景噪声记录如何提升触觉信号分析的鲁棒性？
• RQ5 物体内部填充材料（如橡皮泥、盐、咖啡豆）对触觉感知和分类有何影响？

主要发现

• 该数据集包含63种具有视觉和触觉模糊性的物体，例如黄色球与黄色柠檬，或填充不同材料的丝绒袋。
• 通过RH8D手电流（基线30mA）和手指位置（−180°至180°）捕获的肌动觉数据，可推断物体重量和整体形状。
• 通过NAO机器人进行横向运动和压力施加的触觉探索，生成了400kHz采样率下的mV级振动数据，存储在五个麦克风通道中。
• 为每项操作记录了背景噪声，以支持振动信号处理中的噪声减法。
• 该数据集包含60个肌动觉CSV文件、30个体积振动CSV文件和189张视觉图像（63个物体×3个位置），并采用结构化文件夹组织。
• 该数据集可通过figshare公开获取，DOI为10.6084/m9.figshare.14222486，支持机器人感知研究的可重复性。