[论文解读] Generative Hybrid Representations for Activity Forecasting with No-Regret Learning

Jiaqi Guan, Ye Yuan+2 more|arXiv (Cornell University)|Apr 12, 2019

Human Pose and Action Recognition参考文献 56被引用 5

一句话总结

该论文提出了一种深度生成模型，通过可逆生成建模和Gumbel-Softmax技巧，在第一人称视频中联合预测离散动作与连续轨迹。该方法通过精确似然计算建模不确定性，在EPIC-KITCHENS数据集上实现了最先进性能，并通过理论与实证验证，实现了无遗憾的在线学习，支持持续适应。

ABSTRACT

Automatically reasoning about future human behaviors is a difficult problem but has significant practical applications to assistive systems. Part of this difficulty stems from learning systems' inability to represent all kinds of behaviors. Some behaviors, such as motion, are best described with continuous representations, whereas others, such as picking up a cup, are best described with discrete representations. Furthermore, human behavior is generally not fixed: people can change their habits and routines. This suggests these systems must be able to learn and adapt continuously. In this work, we develop an efficient deep generative model to jointly forecast a person's future discrete actions and continuous motions. On a large-scale egocentric dataset, EPIC-KITCHENS, we observe our method generates high-quality and diverse samples while exhibiting better generalization than related generative models. Finally, we propose a variant to continually learn our model from streaming data, observe its practical effectiveness, and theoretically justify its learning efficiency.

研究动机与目标

• 为解决在第一人称视频中建模人类行为作为离散动作与连续运动混合体的挑战。
• 通过可精确计算似然的生成模型，实现准确、多样化且具备不确定性感知的未来行为预测。
• 通过具有理论依据的无遗憾在线微调机制，支持从流式数据中持续学习。
• 在行为变异与不确定性下，提升预测的泛化能力与鲁棒性。

提出的方法

• 使用可逆生成建模学习连续轨迹与离散动作的联合分布，实现精确似然计算。
• 应用Gumbel-Softmax技巧，基于连续轨迹样本建模离散动作。
• 采用对称交叉熵损失，联合优化轨迹与动作生成。
• 提出一种无遗憾在线学习算法，仅在流式数据上微调额外的线性层。
• 通过事后建模计算平均遗憾，并实证验证无遗憾收敛性。
• 通过ORB-SLAM重建三维场景结构作为轨迹输入，利用第一人称视频与历史位置作为上下文。

实验结果

研究问题

• RQ1 生成模型能否有效建模第一人称视频中离散动作与连续轨迹的联合分布？
• RQ2 与GAN或VAE相比，精确似然计算是否能提升预测性能与不确定性表征？
• RQ3 在多模态行为预测中，该模型是否比判别式基线模型具有更好的泛化能力？
• RQ4 所提出的在线微调方法是否为无遗憾的？其学习效率能否在长时间内保持？
• RQ5 该模型在处理模糊未来行为（如多种合理动作）中的不确定性时表现如何？

主要发现

• 所提模型在EPIC-KITCHENS数据集上的联合轨迹-动作预测任务中，优于所有生成式与判别式基线模型。
• 该模型生成的未来样本具有多样性和高质量特征，在不确定场景下尤其在Top-K动作预测中表现出更好的召回率。
• 模型通过精确似然计算，能够精确优化基于样本的指标（如反向交叉熵）。
• 采用无遗憾在线微调的在线学习机制可提升测试数据上的性能，且在观察到更多流式数据时增益更显著。
• 轨迹与动作预测的平均遗憾曲线均收敛至零，实证验证了无遗憾学习的声明。
• 可视化结果表明，预测轨迹显著影响动作分布，较高动作概率与合理行为对齐。