[论文解读] Binge Watching: Scaling Affordance Learning from Sitcoms

Xiaolong Wang, Rohit Girdhar+1 more|arXiv (Cornell University)|Apr 9, 2018

Robot Manipulation and Learning参考文献 36被引用 3

一句话总结

本文提出一个大规模数据集，包含从七部情景喜剧的1亿帧中提取的28,882个功能姿态，支持机器人学与视觉领域中人类-物体交互的可扩展学习。提出一种两阶段方法：首先在场景中的某个位置对可能的姿态类别进行分类，然后利用变分自编码器（VAE）生成多样且逼真的尺度与形变变化，显著提升了基线模型的泛化能力。

ABSTRACT

In recent years, there has been a renewed interest in jointly modeling perception and action. At the core of this investigation is the idea of modeling affordances(Affordances are opportunities of interaction in the scene. In other words, it represents what actions can the object be used for). However, when it comes to predicting affordances, even the state of the art approaches still do not use any ConvNets. Why is that? Unlike semantic or 3D tasks, there still does not exist any large-scale dataset for affordances. In this paper, we tackle the challenge of creating one of the biggest dataset for learning affordances. We use seven sitcoms to extract a diverse set of scenes and how actors interact with different objects in the scenes. Our dataset consists of more than 10K scenes and 28K ways humans can interact with these 10K images. We also propose a two-step approach to predict affordances in a new scene. In the first step, given a location in the scene we classify which of the 30 pose classes is the likely affordance pose. Given the pose class and the scene, we then use a Variational Autoencoder (VAE) to extract the scale and deformation of the pose. The VAE allows us to sample the distribution of possible poses at test time. Finally, we show the importance of large-scale data in learning a generalizable and robust model of affordances.

研究动机与目标

• 为解决机器人学与计算机视觉领域中缺乏大规模、多样化数据集以学习视觉功能的问题。
• 开发一种可扩展、数据高效的预测方法，用于在不依赖物理模拟或人工标注的情况下，预测场景中的人体交互姿态。
• 通过利用来自电视剧的多样化、真实世界的人体交互模式，提升功能预测的泛化能力和鲁棒性。
• 证明大规模、弱监督的剧本化场景数据可有效用于训练模型，以实现对环境功能的深入理解。

提出的方法

• 通过自动帧处理与场景配准，从七部情景喜剧的1亿帧中提取超过10,000个场景及28,882个人体-物体交互姿态。
• 使用一个30类姿态分类网络，预测在给定场景位置中最可能的功能姿态类型。
• 训练一个变分自编码器（VAE），以建模每类预测姿态的尺度与形变分布，从而实现在推理阶段的随机采样。
• 在推理时应用VAE解码，并使用随机的潜在噪声向量，为同一场景和位置生成多个合理且多样的姿态。
• 采用基于热力图的基线方法进行对比，其中预测的热力图与聚类中心匹配以完成姿态分类。
• 通过人类评估以及正负样本测试集上的精确率-召回率曲线，评估分类性能与姿态真实性。

实验结果

研究问题

• RQ1 能否有效利用来自剧本化电视剧的大型规模、弱监督数据来训练视觉功能预测模型？
• RQ2 增加训练数据规模是否能提升功能预测的泛化能力和鲁棒性？
• RQ3 基于VAE的方法能否生成多样且逼真的姿态变化，使其比确定性或平均输出更符合人类直觉？
• RQ4 所提出的两阶段方法（分类 + VAE优化）在姿态分类准确率上与基于热力图的基线方法相比表现如何？

主要发现

• 使用25,000个数据点进行训练，实现了50.9%的top-5分类准确率，显著优于热力图基线（47.3%）。
• 在46%的情况下，人类评估认为模型预测的姿态比真实姿态更逼真，接近人类水平的判别能力。
• 基于VAE的方法成功为同一场景和位置生成了多个合理且多样的姿态变化，证明其能够有效建模姿态分布的不确定性。
• 精确率-召回率曲线表明，使用25,000个数据点训练的模型在判断给定姿态是否在场景中合理方面表现最佳。
• 结果表明，来自情景喜剧的大规模真实世界交互数据可有效训练出泛化能力优于小规模或合成数据集模型的系统。