[论文解读] Learning to Localize and Align Fine-Grained Actions to Sparse Instructions

Meera Hahn, Nataniel Ruiz+3 more|arXiv (Cornell University)|Sep 22, 2018

Multimodal Machine Learning Applications参考文献 28被引用 8

一句话总结

该论文提出了一种新颖的框架，通过利用第一人称视频中的自我中心线索生成动作提议，随后结合目标识别与语言对齐，实现对稀疏食谱指令与细粒度动作的对齐。该方法在 EGTEA Gaze+ 和 Bristol Egocentric Object Interactions 数据集上取得了最先进性能，相较于基线方法实现了 35.34% 的性能提升，主要得益于为第一人称视频量身定制的改进动作提议生成。

ABSTRACT

Automatic generation of textual video descriptions that are time-aligned with video content is a long-standing goal in computer vision. The task is challenging due to the difficulty of bridging the semantic gap between the visual and natural language domains. This paper addresses the task of automatically generating an alignment between a set of instructions and a first person video demonstrating an activity. The sparse descriptions and ambiguity of written instructions create significant alignment challenges. The key to our approach is the use of egocentric cues to generate a concise set of action proposals, which are then matched to recipe steps using object recognition and computational linguistic techniques. We obtain promising results on both the Extended GTEA Gaze+ dataset and the Bristol Egocentric Object Interactions Dataset.

研究动机与目标

• 解决将稀疏、模糊的食谱步骤与无旁白的第一人称视频中的细粒度动作进行对齐的挑战。
• 克服在低资源、稀疏文本设置下，自然语言描述与视觉视频内容之间的语义鸿沟。
• 开发一种两阶段流程：首先利用自我中心线索定位动作片段，然后通过目标检测与自然语言处理将这些片段与食谱步骤对齐。
• 通过利用手部、头部和视线运动线索，专门提升第一人称视频中的动作提议质量。
• 通过无监督语言指代消解，提升对噪声目标检测和稀疏语言描述的鲁棒性。

提出的方法

• 通过检测手部运动、头部运动和视线方向，识别动作的开始与结束时间，生成第一人称视频中的动作提议。
• 使用实例分割和目标检测模型，识别每个动作片段期间操作的主要和次要物体。
• 利用语言学解析将食谱步骤分解为语义组件：动作（红色）、主要物体（蓝色）和次要物体（灰色）。
• 计算多模态相似度分数，结合动作-物体对与食谱步骤之间的时序重叠和基于词嵌入的语义相似度。
• 应用无监督语言指代消解，解决稀疏食谱文本中的模糊指代，提升对齐准确率。
• 在 EGTEA Gaze+ 和 Bristol Egocentric Object Interactions 数据集上端到端训练和评估该流程，无需任何真实帧-步骤标注。

实验结果

研究问题

• RQ1 自我中心线索（如手部运动、头部移动和视线）是否能提升第一人称视频中稀疏指令对齐的动作提议质量？
• RQ2 与密集字幕或有旁白的视频设置相比，食谱文本的稀疏性如何影响视频-文本对齐系统的性能？
• RQ3 在无显式帧-步骤监督的情况下，目标识别与语言相似度在多大程度上能提升对齐准确率？
• RQ4 当目标检测存在错误或稀疏食谱中存在噪声语言指代时，该对齐系统有多大的鲁棒性？
• RQ5 各组件（动作提议、目标检测、相似度评分）对整体对齐性能的贡献分别是什么？

主要发现

• 所提方法在 BEOID 上达到 0.7641 的平均精度均值（mAP），在 EGTEA 上达到 0.4905，显著优于先前的视频-文本对齐基线方法。
• 当用基于自我中心线索的动作提议替代通用动作提议时，mAP 绝对提升达 35.34%，证明了任务特定动作提议生成的价值。
• 仅使用真实标注的动作片段，性能在 BEOID 上仅提升 6%，在 EGTEA 上仅提升 7%，表明所提动作提议方法极为高效，已接近最优。
• 系统对目标识别错误具有强鲁棒性，使用预测物体而非真实标签时性能仅轻微下降，表现出良好的泛化能力。
• 消融实验证实，时序与语义相似度两个组件均不可或缺，任一移除均导致两个数据集上 mAP 下降超过 40%。
• 尽管 BEOID 的食谱稀疏性更高，但该方法在 BEOID 上的表现优于 EGTEA，表明 BEOID 中更高的食谱步骤密度为对齐提供了更多上下文线索。