[论文解读] Collaborative Attention Mechanism for Multi-View Action Recognition

Yue Bai, Zhiqiang Tao+4 more|arXiv (Cornell University)|Sep 14, 2020

Human Pose and Action Recognition参考文献 47被引用 9

一句话总结

本文提出了一种协作注意力机制（CAM），通过互惠引导的相互注意力机制，在多视角动作识别中实现性能提升。该方法利用互惠RNN（MAR）单元，在不同视角之间建立双向注意力协作，通过挖掘视角特有的注意力差异，使每个视角能够从其他视角中发现难以检测的潜在时序模式，从而在四个数据集上同时提升单视角与多视角识别性能，在EV-Action和Kinetics-Sounds数据集上达到当前最优结果。

ABSTRACT

Multi-view action recognition (MVAR) leverages complementary temporal information from different views to improve the learning performance. Obtaining informative view-specific representation plays an essential role in MVAR. Attention has been widely adopted as an effective strategy for discovering discriminative cues underlying temporal data. However, most existing MVAR methods only utilize attention to extract representation for each view individually, ignoring the potential to dig latent patterns based on mutual-support information in attention space. To this end, we propose a collaborative attention mechanism (CAM) for solving the MVAR problem in this paper. The proposed CAM detects the attention differences among multi-view, and adaptively integrates frame-level information to benefit each other. Specifically, we extend the long short-term memory (LSTM) to a Mutual-Aid RNN (MAR) to achieve the multi-view collaboration process. CAM takes advantages of view-specific attention pattern to guide another view and discover potential information which is hard to be explored by itself. It paves a novel way to leverage attention information and enhances the multi-view representation learning. Extensive experiments on four action datasets illustrate the proposed CAM achieves better results for each view and also boosts multi-view performance.

研究动机与目标

• 解决现有多视角动作识别方法将各视角独立处理、忽略注意力空间中互信息的问题。
• 通过发现难以在孤立状态下检测的互补性线索，增强视角特定的表征学习能力。
• 开发一种机制，实现在注意力空间中的跨视角协作，从而同时提升单个视角的性能与最终融合的准确率。
• 提供一种可解释的、基于注意力的方法，利用不同模态（如RGB与深度图）在时序动作识别中的独特优势。

提出的方法

• 提出一种互惠RNN（MAR）单元，扩展LSTM以实现视角之间的双向注意力协作。
• 利用各视角特有的时序注意力分布（Z^v）识别每个模态中的显著帧。
• 引入协作注意力机制，基于注意力差异引导每个视角关注另一视角遗漏的帧。
• 采用晚期融合策略，结合增强后的单视角表征，提升多视角识别性能。
• 通过注意力分数调制（Z^v_M）利用跨视角知识优化注意力图。
• 采用可学习的注意力机制，根据视角间的相互支持动态调整帧级注意力。

实验结果

研究问题

• RQ1 跨视角注意力协作是否能提升多视角动作识别中判别性时序模式的发现能力？
• RQ2 视角之间的相互注意力引导在表征学习方面如何超越单视角注意力的性能？
• RQ3 所提出的CAM在单视角与多视角动作识别基准上的性能提升程度如何？
• RQ4 通过注意力可视化，模型的可解释性是否证实其成功捕捉了模态间的互补线索？

主要发现

• 所提出的CAM在EV-Action数据集上达到当前最优性能，多视角准确率达到73.59%，优于基线LSTM（71.54%）及消融模型。
• 在Kinetics-Sounds数据集上，CAM达到83.7%的准确率，较之前SOTA方法高出1.2个百分点。
• 消融实验表明，若移除MAR单元或某一视角的协作机制，性能显著下降，验证了跨视角协作的必要性。
• 可视化结果表明，CAM能成功识别单视角遗漏的帧——例如，深度图在抛掷动作的最高点检测到“投掷”动作，而RGB则捕捉到“手举高/放下”动作，并引导另一视角关注这些关键帧。
• 混淆矩阵分析表明，CAM通过增强对关键帧的关注，显著降低了误分类率，尤其在难以检测的动作阶段表现更优。
• 该模型在多个数据集上表现出强鲁棒性，即使在晚期融合前也持续提升单视角性能，表明其具有高效的表征学习能力。