[论文解读] Attend and Interact: Higher-Order Object Interactions for Video Understanding

Chih‐Yao Ma, Asim Kadav+4 more|arXiv (Cornell University)|Nov 16, 2017

Human Pose and Action Recognition参考文献 54被引用 12

一句话总结

该论文提出SINet，一种时空交互网络，通过高效的基于注意力的机制建模视频中的高阶物体交互，显著提升了Kinetics和ActivityNet Captions数据集上动作识别与视频字幕生成的准确率，同时相比成对方法将计算量减少了3倍以上。该方法仅使用1 FPS的视频采样即实现了最先进性能。

ABSTRACT

Human actions often involve complex interactions across several inter-related objects in the scene. However, existing approaches to fine-grained video understanding or visual relationship detection often rely on single object representation or pairwise object relationships. Furthermore, learning interactions across multiple objects in hundreds of frames for video is computationally infeasible and performance may suffer since a large combinatorial space has to be modeled. In this paper, we propose to efficiently learn higher-order interactions between arbitrary subgroups of objects for fine-grained video understanding. We demonstrate that modeling object interactions significantly improves accuracy for both action recognition and video captioning, while saving more than 3-times the computation over traditional pairwise relationships. The proposed method is validated on two large-scale datasets: Kinetics and ActivityNet Captions. Our SINet and SINet-Caption achieve state-of-the-art performances on both datasets even though the videos are sampled at a maximum of 1 FPS. To the best of our knowledge, this is the first work modeling object interactions on open domain large-scale video datasets, and we additionally model higher-order object interactions which improves the performance with low computational costs.

研究动机与目标

• 为解决现有视频理解方法依赖粗粒度表征或成对物体交互的局限性，这些方法无法捕捉真实视频中复杂的多物体关系。
• 实现在长视频序列中高效建模高阶物体交互（即三个或以上相关物体的群体交互），同时避免计算成本过高。
• 通过联合推理多个物体之间的空间、时间与关系信息，提升细粒度视频理解任务（如动作识别与视频字幕生成）的性能。
• 在开放域、大规模视频数据集（Kinetics与ActivityNet Captions）上验证该方法，其中高阶交互对准确预测至关重要。

提出的方法

• 该方法采用带有点积自注意力的循环模块，动态发现并建模视频帧间物体感兴趣区域（ROIs）之间的高阶交互。
• 采用双流特征处理管道：一者处理图像级特征（如来自C3D或ResNeXt），另一者处理物体级特征（如来自Faster R-CNN），两者均通过全连接层进行投影，包含批量归一化与ReLU激活。
• 关键组件为循环高阶交互（RHOI）模块，其在物体特征上应用多头自注意力，计算交互权重，并使用LSTM单元更新隐藏状态。
• 模型引入图像与物体特征之间的协同注意力机制，以增强跨模态推理，提升字幕生成与识别任务中的上下文感知能力。
• 架构设计注重效率：当K=2个注意力头时，FLOPs从成对方法的~18.3e9降低至~5.3e9/视频，实现超过3倍的加速。
• 该方法在Kinetics（动作识别）与ActivityNet Captions（视频字幕生成）上进行评估，仅使用1 FPS采样帧，特征来自预训练模型提取。

实验结果

研究问题

• RQ1 建模超越成对关系的高阶物体交互，能否提升动作识别与视频字幕生成等细粒度视频理解任务的性能？
• RQ2 在数百帧的长视频序列中，是否能够以可接受的计算成本实现高阶交互的建模，而不损失模型容量或准确性？
• RQ3 与传统成对关系建模相比，所提出的基于注意力的交互模块在准确率与计算效率方面表现如何？
• RQ4 高阶交互在多大程度上有助于区分相似动作类别，如“绳降”与“攀岩”？
• RQ5 该模型能否在无需高帧率输入的情况下，泛化至开放域、大规模视频数据集？

主要发现

• SINet在Kinetics数据集上的动作识别任务中达到最先进性能，即使仅使用1 FPS视频采样，仍优于依赖更高帧率的先前方法。
• 在ActivityNet Captions数据集上，SINet-Caption在首个验证集上取得44.14的CIDEr-D分数，在第二个验证集上达到45.54，且仅使用1 FPS输入，实现最先进结果。
• 相比传统成对交互建模，该模型将FLOPs减少3倍以上，从~18.3e9降至~5.3e9/视频，同时提升准确率。
• 消融实验表明，结合图像与物体特征并使用协同注意力（SINet-Caption — img + obj）的设置性能最佳，优于单模态基线。
• 模型成功捕捉了复杂多物体交互，如“手在篝火上锅中打碎鸡蛋”与“人踩上冲浪板”，展现出对空间与时间关系的更好推理能力。
• 在多人多骆驼等复杂场景中，模型有时未能检测到所有实例，表明其在细粒度计数方面存在局限，但能正确识别关键交互。