[论文解读] Fine-grained Event Learning of Human-Object Interaction with LSTM-CRF

Tuan Do, James Pustejovsky|arXiv (Cornell University)|Sep 30, 2017

Time Series Analysis and Forecasting参考文献 12被引用 4

一句话总结

本文提出了一种基于LSTM-CRF模型的细粒度事件学习框架，用于从3D动作捕捉数据中分类时空事件结构。通过将动作捕捉数据切分为时间片段，并为每个片段标注结构化事件标签（主体、对象、处所、动词、介词），该方法在精度上达到43%，显著优于6%的基线水平，同时通过CRF约束将无效输出率从20%降低至3%。

ABSTRACT

Event learning is one of the most important problems in AI. However, notwithstanding significant research efforts, it is still a very complex task, especially when the events involve the interaction of humans or agents with other objects, as it requires modeling human kinematics and object movements. This study proposes a methodology for learning complex human-object interaction (HOI) events, involving the recording, annotation and classification of event interactions. For annotation, we allow multiple interpretations of a motion capture by slicing over its temporal span, for classification, we use Long-Short Term Memory (LSTM) sequential models with Conditional Randon Field (CRF) for constraints of outputs. Using a setup involving captures of human-object interaction as three dimensional inputs, we argue that this approach could be used for event types involving complex spatio-temporal dynamics.

研究动机与目标

• 为解决建模复杂人-物交互事件中细粒度时空动态的挑战。
• 通过切分时间跨度实现动作捕捉的细粒度事件标注，支持多种解释。
• 通过结合LSTM序列建模与CRF输出约束，提升事件分类精度。
• 利用ECAT开发可扩展的标注框架，用于带事件组件标签的3D动作数据。
• 证明端到端学习结构化事件表示是可行的，且无需大量特征工程。

提出的方法

• 使用Microsoft Kinect®的动作捕捉数据提取13个上半身关节点的3D位置坐标和每个物体的标记坐标（每个物体12个特征），形成固定长度的特征向量。
• 将每个动作片段切分为20帧的时间区间，并为每个区间标注结构化标签：(主体, 对象, 处所, 动词, 介词)。
• 使用单层LSTM（200个隐藏单元）处理特征向量序列，采用dropout（0.8）和梯度裁剪以防止过拟合。
• 在LSTM之上应用CRF层，以在输出标签间强制实现结构一致性，通过对数线性条件概率建模组件间的依赖关系。
• 模型使用交叉熵损失进行训练，并在训练阶段（log-sum-exp）和推理阶段（max-sum）使用消息传递算法。
• 输出结构表示为对数线性模型：$\log P(Y|X) = t(Y) - \log \sum_{Y'} \exp(t(Y'))$，其中$t(Y)$编码特征得分与转移得分。

实验结果

研究问题

• RQ1 通过将动作捕捉数据切分为时间片段以实现多组件事件标注，是否能有效实现细粒度事件学习？
• RQ2 将LSTM与CRF结合，如何提升结构化事件预测的分类精度与输出一致性？
• RQ3 与无约束模型相比，该模型在多大程度上减少了无效标签组合？
• RQ4 该模型在涉及空间介词和动态动词的复杂人-物交互事件上的表现如何？
• RQ5 无需特征工程的简单端到端序列模型是否能在细粒度事件分类上取得优异结果？

主要发现

• LSTM-CRF模型在事件分类上达到43%的精度，显著优于仅预测最常见标签的6%基线。
• 通过CRF层施加结构约束，模型将无效输出率从20%降低至3%。
• 动词分类表现最弱，精度为68%，主要因'push'与'roll'、'pull'与'roll'、'slide'与'roll'之间存在高度混淆。
• 对象和主体标签预测表现最强，精度分别为87%和86%，表明对事件参与者的识别能力较强。
• 与独立的LSTM模型相比（39% vs. 43%精度），CRF组件带来了可测量的性能提升，证明了结构化输出预测的价值。
• 该方法在极少特征工程下表现良好，仅依赖原始3D动作数据和简单的序列架构。