[论文解读] Manipulation-skill Assessment from Videos with Spatial Attention Network

Zhenqiang Li, Yifei Huang+2 more|arXiv (Cornell University)|Jan 9, 2019

Human Pose and Action Recognition参考文献 52被引用 4

一句话总结

本文提出了一种基于RNN的新型空间注意力网络，通过联合建模瞬时视觉特征、高层任务进展和时间注意力转移，提升了基于视频的操作技能评估性能。该方法在五个数据集上实现了最先进性能，包括一个全新的婴儿抓握数据集，通过学习聚焦于任务关键区域的自适应注意力实现。

ABSTRACT

Recent advances in computer vision have made it possible to automatically assess from videos the manipulation skills of humans in performing a task, which breeds many important applications in domains such as health rehabilitation and manufacturing. Previous methods of video-based skill assessment did not consider the attention mechanism humans use in assessing videos, limiting their performance as only a small part of video regions is informative for skill assessment. Our motivation here is to estimate attention in videos that helps to focus on critically important video regions for better skill assessment. In particular, we propose a novel RNN-based spatial attention model that considers accumulated attention state from previous frames as well as high-level knowledge about the progress of an undergoing task. We evaluate our approach on a newly collected dataset of infant grasping task and four existing datasets of hand manipulation tasks. Experiment results demonstrate that state-of-the-art performance can be achieved by considering attention in automatic skill assessment.

研究动机与目标

• 通过引入类人注意力机制，聚焦于任务关键区域，提升基于视频的自动技能评估性能。
• 解决先前方法在技能评估中未能建模时间注意力转移和任务级上下文的局限性。
• 开发一个统一框架，整合视觉特征、任务进展知识和累积注意力状态，以提升性能。
• 收集并标注了一个全新的婴儿物体抓握任务数据集，以支持技能评估研究。
• 通过在公开数据集和新收集数据集上的大量实验，验证注意力建模的有效性。

提出的方法

• 提出双RNN架构：一个RNN用于建模空间注意力转移（RNN_att），另一个用于跟踪任务进展（RNN_task）。
• 将每帧的视觉特征（x̄_t）与RNN_task的隐藏状态结合，以指导RNN_att中的注意力估计。
• 采用成对深度排序方法，利用人工标注的视频对进行训练，实现数据增强和弱监督。
• 采用空间注意力模块，通过结合低层次视觉线索、高层次任务上下文和先前注意力状态，动态聚焦于信息丰富的区域。
• 实现端到端的注意力图学习，使注意力自适应地在技能执行过程中在相关身体部位和物体之间转移。
• 通过RNN_att建模前一帧的时间相关性，实现对注意力转移模式的建模。

Figure 1: The illustration of our skill assessment framework. At every time step, the network takes an RGB image and the corresponding stacked optical flow images as input and firstly represents them as deep appearance-motion features. The spatial attention sub-module is then used to generate an att

实验结果

研究问题

• RQ1 建模空间注意力转移是否能提升基于视频的操作技能评估性能？
• RQ2 整合高层任务进展知识对注意力估计和技能评分有何影响？
• RQ3 结合视觉特征、任务上下文和先前注意力状态是否能生成更准确且可解释的注意力图？
• RQ4 所提出方法能否在多样化操作任务中泛化，包括婴儿运动发育和手部操作？
• RQ5 各组件（视觉输入、任务状态、注意力记忆）对整体性能的相对贡献如何？

主要发现

• 所提方法在新收集的婴儿抓握数据集上实现了最先进排名准确率86.1%，优于先前方法。
• 在筷子和外科手术数据集上，模型分别达到85.5%和85.3%的排名准确率，表现出强大的泛化能力。
• 消融实验表明，若移除空间注意力机制，婴儿抓握数据集上的性能降至82.1%，证明其必要性。
• 包含完整组件（视觉、任务和注意力记忆）的模型优于仅使用视觉或任务特征的基线模型，表明三者输入均至关重要。
• 可视化结果显示，模型学习到有意义且与任务相关的注意力图，能在关键动作（如掉落或切换立方体）期间在手和物体之间动态转移。
• 与SCA-CNN和CBAM相比，所提模型避免聚焦于显著但与任务无关的区域，展现出更优的人类评估对齐注意力。

Figure 2: The details of the spatial attention sub-module. To estimate the task-related significance for the regional vectors at different locations, the module incorporates not only the low-level visual information $\bar{x}_{t}$ globally extracted from the deep feature maps, but also the high-level