[论文解读] Adversarial Cross-Domain Action Recognition with Co-Attention

Boxiao Pan, Zhangjie Cao+2 more|arXiv (Cornell University)|Dec 22, 2019

Human Pose and Action Recognition参考文献 43被引用 8

一句话总结

该论文提出了一种用于跨域动作识别的时序协同注意力网络（TCoN），通过一种新颖的跨域协同注意力机制，对齐源域和目标域中时间上对应的动作信息片段。通过生成与目标对齐的源特征，并匹配这些时间对齐特征的分布，TCoN在三个基准数据集上显著优于先前方法，在跨域动作识别任务中达到最先进性能。

ABSTRACT

Action recognition has been a widely studied topic with a heavy focus on supervised learning involving sufficient labeled videos. However, the problem of cross-domain action recognition, where training and testing videos are drawn from different underlying distributions, remains largely under-explored. Previous methods directly employ techniques for cross-domain image recognition, which tend to suffer from the severe temporal misalignment problem. This paper proposes a Temporal Co-attention Network (TCoN), which matches the distributions of temporally aligned action features between source and target domains using a novel cross-domain co-attention mechanism. Experimental results on three cross-domain action recognition datasets demonstrate that TCoN improves both previous single-domain and cross-domain methods significantly under the cross-domain setting.

研究动机与目标

• 为解决动作识别中的域偏移问题，即训练数据与测试数据来自不同分布的问题。
• 克服现有方法在跨域设置下无法处理时间错位与噪声片段匹配的局限性。
• 通过利用带标签的源域数据，在目标域的未标注视频上提升动作识别性能。
• 设计一种协同注意力机制，同时考虑片段重要性与跨域相似性，以实现更优的特征对齐。

提出的方法

• 提出一种跨域协同注意力模块，基于片段的自注意力重要性与跨域相似性计算注意力得分。
• 通过将源特征与目标特征按时间顺序对齐，生成与目标对齐的源特征，从而实现更优的分布匹配。
• 采用片段级别的判别器，最小化与目标特征之间在分布上的差异。
• 采用双流对抗训练设置：一个流用于动作分类，另一个流用于在片段级别进行域判别。
• 应用时间协同注意力机制，聚焦于在不同域中语义相似的关键帧，从而减少背景或无关片段带来的噪声。
• 将按时间顺序对齐的源特征拼接，形成与目标视频在时间上一致的动作级表征。

实验结果

研究问题

• RQ1 一种同时考虑域内重要性与域间相似性的协同注意力机制，是否能提升跨域动作识别性能？
• RQ2 将源特征与目标视频的时间结构对齐，是否能增强分布匹配并提高识别准确率？
• RQ3 所提方法在处理视频动作识别中的时间错位问题时，相较于现有域自适应技术表现如何？
• RQ4 当源域与目标域不共享相同动作类别时，该模型的泛化能力达到何种程度？

主要发现

• TCoN在三个跨域动作识别基准数据集上达到最先进性能：HMDB51→UCF101、UCF101→HMDB51，以及Jester(S)→Jester(T)。
• 在Jester(S)→Jester(T)划分上，TCoN取得89.7%的top-1准确率，较之前最先进方法高出2.1%。
• 消融实验表明，协同注意力机制与与目标对齐的源特征均至关重要，后者显著减少了时间错位并提升了性能。
• 协同注意力矩阵可视化显示，模型成功对齐了不同域中关键动作阶段，例如铁饼投掷视频中的投掷阶段。
• t-SNE可视化表明，TCoN的与目标对齐的源特征弥合了源域与目标域之间的分布差距，形成了更平滑、更紧凑的特征空间。
• 即使在源域与目标域无重叠动作类别的挑战性设置下（HMDB51→UCF101_all），TCoN仍保持优异性能，展现出对域偏移的强大鲁棒性。