[论文解读] Egocentric Object Manipulation Graphs

Eadom Dessalene, Michael Maynord+3 more|arXiv (Cornell University)|Jun 5, 2020

Human Pose and Action Recognition参考文献 34被引用 17

一句话总结

Ego-OMG 提出了一种新颖的图神经网络表示方法，用于自指动作预测，通过图卷积网络（GCN）和CSN特征，整合了语义时间结构、短期动态特性与外观特征。该方法在EPIC Kitchens动作预测挑战赛中，于未见测试集上取得第一名、在已见测试集上取得第二名的SOTA性能，得益于对人手-物体交互的结构化图建模，实现了更优的长时程预测能力。

ABSTRACT

We introduce Egocentric Object Manipulation Graphs (Ego-OMG) - a novel representation for activity modeling and anticipation of near future actions integrating three components: 1) semantic temporal structure of activities, 2) short-term dynamics, and 3) representations for appearance. Semantic temporal structure is modeled through a graph, embedded through a Graph Convolutional Network, whose states model characteristics of and relations between hands and objects. These state representations derive from all three levels of abstraction, and span segments delimited by the making and breaking of hand-object contact. Short-term dynamics are modeled in two ways: A) through 3D convolutions, and B) through anticipating the spatiotemporal end points of hand trajectories, where hands come into contact with objects. Appearance is modeled through deep spatiotemporal features produced through existing methods. We note that in Ego-OMG it is simple to swap these appearance features, and thus Ego-OMG is complementary to most existing action anticipation methods. We evaluate Ego-OMG on the EPIC Kitchens Action Anticipation Challenge. The consistency of the egocentric perspective of EPIC Kitchens allows for the utilization of the hand-centric cues upon which Ego-OMG relies. We demonstrate state-of-the-art performance, outranking all other previous published methods by large margins and ranking first on the unseen test set and second on the seen test set of the EPIC Kitchens Action Anticipation Challenge. We attribute the success of Ego-OMG to the modeling of semantic structure captured over long timespans. We evaluate the design choices made through several ablation studies. Code will be released upon acceptance

研究动机与目标

• 通过建模人-物交互的语义时间结构，提升自指视频中的动作预测性能。
• 解决仅依赖外观特征或端到端视频模型在长时程预测中的局限性。
• 设计一种模块化框架，使外观特征可轻松替换，提升与现有方法的兼容性。
• 利用EPIC Kitchens中一致的自指视角，建模以手为中心的线索，提升动作预测性能。
• 证明图结构化建模交互状态显著优于序列化或池化聚合特征的方法。

提出的方法

• Ego-OMG 构建一个图结构，其中节点表示由手-物接触事件定义的状态，捕捉随时间推移的手与物体之间的语义关系。
• 通过图卷积网络（GCN）将图节点嵌入低维向量，实现对交互动态的结构化建模。
• 通过3D卷积和基于轨迹的接触点预测，建模短期手部动态，以分割交互片段。
• 利用带有3D卷积的CSN（卷积孪生网络）提取外观特征，捕捉时空运动与外观信息。
• 使用长短期记忆网络（LSTM）处理图嵌入状态序列，建模时间演化并支持长时程预测。
• 最终的预测头基于LSTM嵌入的状态历史对未来的动作进行分类，消融实验验证了各组件的贡献。

实验结果

研究问题

• RQ1 通过手-物交互图建模语义时间结构，相较于端到端视频模型，如何提升长时程动作预测性能？
• RQ2 GCN生成的图嵌入对动作预测性能的贡献有多大，尤其与简单池化或终端状态分类相比？
• RQ3 外观特征（CSN）与手部轨迹动态建模的融合，如何提升预测准确性？
• RQ4 预训练词嵌入（GloVe）在图中交互状态表示中的改进程度如何？
• RQ5 基于LSTM的状态历史聚合方法，与均值池化或终端状态分类等替代策略相比，表现如何？

主要发现

• Ego-OMG 在EPIC Kitchens动作预测挑战赛的未见测试集上获得第一名，在已见测试集上获得第二名，优于所有已发表的先前方法。
• 结合CSN与GCN双流的联合模型优于仅使用单一流的消融实验，其中仅GCN流在5秒预测时延下已超越仅CSN流。
• 基于LSTM的状态聚合在top-1准确率上达到12.81%，显著优于均值池化（9.74%）和终端状态分类（11.70%）。
• 使用GCN结合GloVe嵌入的模型达到12.81% top-1准确率，而移除GCN或使用单位矩阵则分别导致性能降至6.67%和3.62%。
• 消融实验证实，图嵌入与LSTM的序列建模对长时程预测至关重要，且随着预测时延增加，性能衰减平缓。
• 模块化设计支持外观特征的便捷替换，使Ego-OMG可与现有动作预测框架良好集成。