[论文解读] Datasets on object manipulation and interaction: a survey

Yongqiang Huang, Yu Sun|arXiv (Cornell University)|Jul 2, 2016

Human Pose and Action Recognition参考文献 20被引用 7

一句话总结

本文对2009至2015年间发布的20项专注于物体操作与交互的最新数据集进行了全面综述，评估其模态、标注活动及研究适用性。通过分析模态可用性、物体可识别性与时间分割方式，对数据集进行比较，并为机器人学与人机交互领域的未来数据集设计提出建议。

ABSTRACT

A dataset is crucial for model learning and evaluation. Choosing the right dataset to use or making a new dataset requires the knowledge of those that are available. In this work, we provide that knowledge, by reviewing twenty datasets that were published in the recent six years and that are directly related to object manipulation. We report on modalities, activities, and annotations for each individual dataset and give our view on its use for object manipulation. We also compare the datasets and summarize them. We conclude with our suggestion on future datasets.

研究动机与目标

• 为研究人员提供一份经筛选、最新的20项数据集的综述，这些数据集发表于2009至2015年，与物体操作直接相关。
• 基于各数据集的模态、标注活动与时间分割方式，评估其在物体操作研究中的适用性。
• 识别数据集之间的共性与差异，特别是物体可识别性与标注结构方面，以指导数据集选择。
• 指出当前数据集中的主要缺陷——尤其是缺乏显式的6D物体位姿追踪与运动学数据——并为未来数据采集提出改进建议。
• 通过提供对比性见解，支持研究人员根据任务需求（如动作识别、模仿学习或人机交互）选择合适的数据集。

提出的方法

• 对2009至2015年间发表的20项数据集进行系统性综述与分析，所选数据集均与物体操作及交互相关。
• 每项数据集均被下载并验证其与发表文献的一致性；当出现模糊之处时，与作者取得联系确认。
• 将数据集分为两类：烹饪活动（如Slice&Dice、CMU-MMAC）与日常生活活动（ADL）（如Gaze、NTU-Action），并按时间顺序排列。
• 对每项数据集，分析其模态（如RGB视频、深度图、IMU、RFID、动作捕捉）、标注活动（动词-对象-介词结构）与时间分割方式（如时间戳、帧编号、字幕）。
• 基于三项标准生成对比总结：模态可用性、标注中物体的可识别性，以及时间分割格式。
• 识别并整理跨数据集共享的标注活动（如“使用手机”、“开门”），以突出共识并支持多数据集分析。

实验结果

研究问题

• RQ1 过去六年内，哪些数据集最适合用于物体操作研究？它们提供了哪些模态？
• RQ2 这些数据集中的标注如何表示物体操作行为？其形式为何种（如动词-对象短语、时间戳、帧编号）？
• RQ3 在标注活动中，物体的可识别程度如何？哪些基于传感器或标注的方法支持这种识别？
• RQ4 当前数据集在物体操作研究中存在哪些关键局限？特别是关于3D物体位姿追踪与运动学数据的缺失？
• RQ5 研究人员应如何最优地利用现有数据集进行多数据集分析？应依据哪些标准来设计新数据集？

主要发现

• 仅有1项数据集[10]提供了估计的6D物体位姿轨迹，凸显了大多数数据集中缺乏显式物体位姿追踪的显著缺陷。
• 在物体上嵌入传感器（如[1]、[7]、[14]中的加速度计）的数据集，相比仅依赖图像或以人类为中心的模态，能提供更直接且更可用的数据，适用于操作分析。
• Gaze与Gaze+数据集提供了高分辨率第一视角视频与眼动追踪数据，使其在研究操作任务中的注意力机制方面具有重要价值。
• 时间分割应用不一致：尽管大多数数据集使用显式时间戳或帧编号，但部分数据集（如[13]、[15]、[18]）采用隐式分割方式，限制了可复现性。
• 尽管模态种类多样，但极少数据集包含力、力矩或关节位姿数据——这些数据对从演示中学习（LfD）与机器人策略学习至关重要。
• 在多个数据集中识别出共享的标注活动，如“使用手机”、“开门”与“倒液体”，表明对常见操作行为存在共识，支持跨数据集基准测试。