[论文解读] Few-shot Action Recognition with Permutation-invariant Attention

Hongguang Zhang, Li Zhang+4 more|arXiv (Cornell University)|Jan 12, 2020

Human Pose and Action Recognition参考文献 58被引用 17

一句话总结

该论文提出了一种使用排列不变注意力机制的 few-shot 动作识别框架，以处理可变长度视频片段和时间分布偏移问题。通过采用基于增强的注意力机制（利用块排列）和自监督学习，模型学习到鲁棒且不变的表征，在 HMDB51、UCF101 和 miniMIT 上均超越了当前最优方法（SOTA）。

ABSTRACT

Many few-shot learning models focus on recognising images. In contrast, we tackle a challenging task of few-shot action recognition from videos. We build on a C3D encoder for spatio-temporal video blocks to capture short-range action patterns. Such encoded blocks are aggregated by permutation-invariant pooling to make our approach robust to varying action lengths and long-range temporal dependencies whose patterns are unlikely to repeat even in clips of the same class. Subsequently, the pooled representations are combined into simple relation descriptors which encode so-called query and support clips. Finally, relation descriptors are fed to the comparator with the goal of similarity learning between query and support clips. Importantly, to re-weight block contributions during pooling, we exploit spatial and temporal attention modules and self-supervision. In naturalistic clips (of the same class) there exists a temporal distribution shift--the locations of discriminative temporal action hotspots vary. Thus, we permute blocks of a clip and align the resulting attention regions with similarly permuted attention regions of non-permuted clip to train the attention mechanism invariant to block (and thus long-term hotspot) permutations. Our method outperforms the state of the art on the HMDB51, UCF101, miniMIT datasets.

研究动机与目标

• 解决 few-shot 视频动作识别中的挑战，即标注视频数据稀缺，且动作模式在时间位置上存在显著差异。
• 通过使注意力机制对块排列保持不变，克服时间分布偏移问题——即同一类别的视频片段中，判别性动作段在不同片段中的出现时间不同。
• 通过结合基于 C3D 的时空编码、排列不变池化和自监督预训练，提升低数据场景下的表征学习能力。
• 开发一种基于关系的比较器，利用注意力加权的池化表征，学习查询片段与支持片段之间的相似性。

提出的方法

• 使用 C3D 主干网络从视频片段中提取时空特征，通过 3D 卷积捕捉短程动作模式。
• 应用排列不变池化将可变长度的片段表征聚合为固定长度的向量，从而丢弃长期非重复依赖关系。
• 引入一种增强引导的注意力机制：在训练过程中，对视频块进行排列，并通过对比损失对排列前后两次前向传播的注意力权重进行对齐。
• 通过拼图（jigsaw）和旋转增强方式实现自监督预训练，以提升编码器、比较器和注意力模块在低样本条件下的鲁棒性。
• 通过结合查询片段和支持片段的表征，利用注意力加权特征构建关系描述符，随后通过相似性比较器实现 few-shot 分类。
• 端到端训练整个模型管道，采用对比损失，鼓励匹配的查询-支持对之间具有高相似性，而非匹配对之间具有低相似性。

实验结果

研究问题

• RQ1 注意力机制能否对视频块的时间和空间排列保持不变，从而提升 few-shot 动作识别中的鲁棒性？
• RQ2 当同一类别的视频片段中动作段非重复且时间分布可变时，排列不变池化与注意力机制的结合在多大程度上能提升泛化能力？
• RQ3 通过拼图和旋转增强实现的自监督预训练，在低数据视频识别中能在多大程度上提升特征表征质量？
• RQ4 当使用注意力正则化的池化表征进行训练时，基于关系的比较器能否有效学习查询片段与支持片段之间的相似性？
• RQ5 所提出的方法是否在 HMDB51、UCF101 和 miniMIT 等标准 few-shot 动作识别基准上达到当前最优性能？

主要发现

• 所提方法在 HMDB51 数据集上实现了当前最优性能，在标准 few-shot 评估协议下超越了以往方法。
• 在 UCF101 数据集上，模型相较于现有基线方法取得了显著提升，尤其在支持样本有限的 few-shot 设置下表现突出。
• 该方法在 miniMIT 数据集上展现出强大的泛化能力，尽管该数据集具有高类别多样性与复杂动作变化，仍取得了高于以往方法的准确率。
• 消融实验表明，排列不变注意力与自监督的结合可降低注意力图中的对齐误差，尤其在时间分布偏移情况下效果更明显。
• 采用增强引导的注意力机制——即在排列与非排列视频视图之间对齐注意力权重——可带来更稳定且更具判别性的特征学习。
• 该模型在不同 few-shot 设置下表现稳健，采用自监督预训练和注意力正则化后，准确率持续提升。