[论文解读] Active Object Manipulation Facilitates Visual Object Learning: An Egocentric Vision Study

Satoshi Tsutsui, Dian Zhi+3 more|arXiv (Cornell University)|Jun 4, 2019

Robot Manipulation and Learning参考文献 4被引用 5

一句话总结

本研究探讨主动物体操作如何增强共视角视觉中的视觉物体学习，使用儿童的第一视角图像。结果表明，与被动观看相比，观察期间的手部操作显著提升了少样本物体识别性能，即使训练数据有限，凸显了具身交互在视觉学习中的作用。

ABSTRACT

Inspired by the remarkable ability of the infant visual learning system, a recent study collected first-person images from children to analyze the `training data' that they receive. We conduct a follow-up study that investigates two additional directions. First, given that infants can quickly learn to recognize a new object without much supervision (i.e. few-shot learning), we limit the number of training images. Second, we investigate how children control the supervision signals they receive during learning based on hand manipulation of objects. Our experimental results suggest that supervision with hand manipulation is better than without hands, and the trend is consistent even when a small number of images is available.

研究动机与目标

• 探讨在共视角视觉中，物体交互期间的主动操作如何影响视觉学习。
• 调查手部操作是否在少样本视觉学习中充当一种自监督形式。
• 在有限训练图像下，比较主动操作与被动观察的学习性能。
• 理解婴儿自然探索行为如何塑造有效的视觉表征。

提出的方法

• 本研究使用儿童在自然物体交互期间采集的第一人称（共视角）视频数据。
• 通过限制训练图像数量，模拟少样本学习场景，以模拟婴儿在极少暴露情况下的学习过程。
• 监督信号源自手部与物体的交互，将操作视为一种自监督学习形式。
• 模型通过将物体外观与相应手部运动及操作模式相关联来学习视觉表征。
• 在极少数暴露后，通过在新物体类别上的分类准确率评估性能。
• 在相同数据约束下，将带有手信号的主动操作与无手部交互的被动观察进行对比。

实验结果

研究问题

• RQ1 在少样本学习设置中，与被动观察相比，物体交互期间的主动操作是否能提升视觉物体识别性能？
• RQ2 在物体交互期间，手部运动信号的存在如何影响所学视觉表征的质量？
• RQ3 源自手部操作的自监督是否可减少视觉学习对大规模标注数据集的依赖？
• RQ4 当仅提供少量训练图像时，操作的优势是否依然保持一致？

主要发现

• 即使仅有少量训练图像，与被动观察相比，主动操作显著提升了视觉物体识别准确率。
• 在少样本学习条件下，手部操作带来的性能提升依然存在，表明其对数据稀缺具有鲁棒性。
• 源自手部-物体交互的监督信号，相比静态图像观察，能生成更具判别性的视觉特征。
• 结果表明，具身交互（如抓握和移动物体）可自然提供有效的自监督信号，以支持视觉学习。