[论文解读] Forecasting Human-Object Interaction: Joint Prediction of Motor Attention and Actions in First Person Video

Miao Liu, Siyu Tang+2 more|arXiv (Cornell University)|Nov 25, 2019

Human Pose and Action Recognition参考文献 67被引用 7

一句话总结

本文提出了一种新颖的深度学习模型，可联合预测第一人称视频中的运动注意力（未来手部轨迹）、交互热点（物体上的关键接触点）以及未来动作。通过将运动注意力建模为概率变量，网络利用预期的手部运动来引导时空特征选择，在 EGTEA Gaze+ 和 EPIC-Kitchens 数据集上实现了动作预测与热点定位的最先进性能。

ABSTRACT

We address the challenging task of anticipating human-object interaction in first person videos. Most existing methods ignore how the camera wearer interacts with the objects, or simply consider body motion as a separate modality. In contrast, we observe that the international hand movement reveals critical information about the future activity. Motivated by this, we adopt intentional hand movement as a future representation and propose a novel deep network that jointly models and predicts the egocentric hand motion, interaction hotspots and future action. Specifically, we consider the future hand motion as the motor attention, and model this attention using latent variables in our deep model. The predicted motor attention is further used to characterise the discriminative spatial-temporal visual features for predicting actions and interaction hotspots. We present extensive experiments demonstrating the benefit of the proposed joint model. Importantly, our model produces new state-of-the-art results for action anticipation on both EGTEA Gaze+ and the EPIC-Kitchens datasets. Our project page is available at https://aptx4869lm.github.io/ForecastingHOI/

研究动机与目标

• 为解决在第一人称视频中预测人机交互的挑战，通过将有意图的手部运动建模为运动注意力。
• 通过将运动注意力与交互热点预测相结合，提升动作预测性能。
• 使用概率深度学习联合建模未来手部运动与物体交互区域的不确定性。
• 证明运动注意力是自 egocentric 视觉中视觉预测的关键前瞻性表征。

提出的方法

• 该模型使用一个深度神经网络，将未来手部轨迹视为运动注意力，并通过随机单元将其实现为概率变量。
• 利用运动注意力来关注用于动作和热点预测的判别性时空视觉特征。
• 交互热点被预测为突出显示物体上可能接触区域的空间注意力图。
• 模型使用真实运动注意力、交互热点和动作标签作为监督信号进行训练。
• 联合学习框架实现了运动注意力、热点和动作预测的端到端优化。
• 推理过程中，模型可从动作发生前的视频片段中同时预测全部三项输出。

实验结果

研究问题

• RQ1 将运动注意力建模为概率表征是否能提升第一人称视频中的动作预测性能？
• RQ2 联合预测运动注意力与交互热点如何增强未来动作的预测能力？
• RQ3 当物体不明确时，运动注意力在多大程度上有助于定位未来的交互区域？
• RQ4 模型是否能在推理过程中不依赖观测到的手部坐标来预测手部轨迹？
• RQ5 该模型在 EGTEA Gaze+ 和 EPIC-Kitchens 等多样化第一人称数据集上具有多好的泛化能力？

主要发现

• 所提模型在 EPIC-Kitchens 上取得新的最先进 F1 得分为 29.6，在 EGTEA Gaze+ 上为 25.69，分别优于先前方法 3.6% 和 5.4%。
• 在 EGTEA Gaze+ 上，模型平均位移误差为 0.23，最终位移误差为 0.36，优于卡尔曼滤波器和高斯过程回归，且在未使用观测手部坐标的情况下达到与 LSTM 相当的性能。
• 在模糊场景中，模型成功预测了交互热点，例如在“操作炉灶”任务中正确识别炉灶旋钮为交互点。
• 可视化结果表明，预测的运动注意力始终聚焦于正确物体及其交互区域，即使手部不可见。
• 模型在 EPIC-Kitchens 上的泛化性能优于 EGTEA，可能归因于训练样本数量更多。
• 失败案例多出现在未来主动物体不可见时，表明未来模型需整合逻辑推理能力。