[论文解读] Relational Self-Attention: What's Missing in Attention for Video Understanding

Manjin Kim, Heeseung Kwon+3 more|arXiv (Cornell University)|Nov 2, 2021

Human Pose and Action Recognition参考文献 61被引用 15

一句话总结

本文提出关系自注意力（Relational Self-Attention, RSA），一种新颖的动态特征变换方法，通过动态生成的关系核与上下文聚合，显式建模时空关系模式，从而提升视频理解能力。RSA在运动导向的视频动作识别基准（如Something-Something-V1&V2、Diving48和FineGym）上表现优于卷积和标准自注意力，实现了最先进（SOTA）的准确率。

ABSTRACT

Convolution has been arguably the most important feature transform for modern neural networks, leading to the advance of deep learning. Recent emergence of Transformer networks, which replace convolution layers with self-attention blocks, has revealed the limitation of stationary convolution kernels and opened the door to the era of dynamic feature transforms. The existing dynamic transforms, including self-attention, however, are all limited for video understanding where correspondence relations in space and time, i.e., motion information, are crucial for effective representation. In this work, we introduce a relational feature transform, dubbed the relational self-attention (RSA), that leverages rich structures of spatio-temporal relations in videos by dynamically generating relational kernels and aggregating relational contexts. Our experiments and ablation studies show that the RSA network substantially outperforms convolution and self-attention counterparts, achieving the state of the art on the standard motion-centric benchmarks for video action recognition, such as Something-Something-V1 & V2, Diving48, and FineGym.

研究动机与目标

• 解决现有动态特征变换方法（如卷积和自注意力）在捕捉视频中运动动态方面的局限性。
• 指出标准自注意力在缺乏位置嵌入的情况下，尤其在以运动为中心的数据集上，难以有效学习运动表征。
• 开发一种新型动态特征变换方法，显式建模丰富的时空关系结构，以提升视频表征学习能力。
• 通过融合关系特征与外观特征，在标准视频动作识别基准上实现最先进性能。

提出的方法

• 提出对动态特征变换的统一重新诠释，区分基于外观的特征学习与基于关系的特征学习。
• 设计RSA，通过在时空上下文中利用查询-键相关性动态生成关系核，实现对运动敏感的特征变换。
• 引入一种分组相关机制，计算G维相关向量，相比标量点积注意力，显著提升了语义丰富度。
• 通过潜在维度D对特征变换矩阵进行分解，降低FLOPs和内存使用量，同时保持性能。
• 通过逐元素相加的方式将关系核与标准自注意力及外观特征结合，实现对外观与运动的联合建模。
• 使用可学习的查询-键相关模块生成自适应响应运动模式（如物体运动方向）的关系核。

实验结果

研究问题

• RQ1 为何标准自注意力机制在视频动作识别任务中难以有效捕捉运动动态？
• RQ2 如何增强动态特征变换方法，以显式建模时空关系结构，从而提升视频表征能力？
• RQ3 将关系核与标准自注意力及外观特征结合，对视频识别准确率有何影响？
• RQ4 相关机制的设计（如分组式与点积式）如何影响视频中的关系特征学习？
• RQ5 核大小与潜在维度分解在准确率与计算效率之间的权衡中起到多大作用？

主要发现

• RSA在Something-Something-V1上达到47.0%的top-1准确率，优于卷积和标准自注意力基线模型。
• 消融实验证实，将关系上下文与外观特征结合，在不同上下文类型下均能带来一致的性能提升。
• 采用完整逐元素（Hadamard）相关性的分组相关机制（G = C^Q）表现最佳，证明其具备更强的语义建模能力。
• 核大小M = 5×7×7在准确率与计算成本之间提供了最佳平衡，更大的核（如5×9×9）导致性能下降。
• 通过潜在维度分解（D = C^Q）显著降低了FLOPs和内存使用量，使大规模视频模型训练成为可能，避免显存溢出错误。
• 核可视化显示，RSA核能动态适应运动方向（如向上与向下运动），而自注意力核对时间顺序保持不变，证实RSA具备运动敏感性。