[论文解读] AdapNet: Adaptability Decomposing Encoder-Decoder Network for Weakly Supervised Action Recognition and Localization

Xiaoyu Zhang, Changsheng Li+4 more|arXiv (Cornell University)|Nov 27, 2019

Human Pose and Action Recognition参考文献 59被引用 8

一句话总结

AdapNet 提出了一种新型的编码器-解码器网络，通过可适应性分解实现从剪辑视频到未剪辑视频的可靠知识迁移，用于弱监督动作识别与定位。通过分离领域可适应特征与领域特定特征，并利用双向点过程进行时间定位，AdapNet 仅使用视频级标注即在 THUMOS14 和 ActivityNet1.3 上达到最先进性能。

ABSTRACT

The point process is a solid framework to model sequential data, such as videos, by exploring the underlying relevance. As a challenging problem for high-level video understanding, weakly supervised action recognition and localization in untrimmed videos has attracted intensive research attention. Knowledge transfer by leveraging the publicly available trimmed videos as external guidance is a promising attempt to make up for the coarse-grained video-level annotation and improve the generalization performance. However, unconstrained knowledge transfer may bring about irrelevant noise and jeopardize the learning model. This paper proposes a novel adaptability decomposing encoder-decoder network to transfer reliable knowledge between trimmed and untrimmed videos for action recognition and localization via bidirectional point process modeling, given only video-level annotations. By decomposing the original features into domain-adaptable and domain-specific ones based on their adaptability, trimmed-untrimmed knowledge transfer can be safely confined within a more coherent subspace. An encoder-decoder based structure is carefully designed and jointly optimized to facilitate effective action classification and temporal localization. Extensive experiments are conducted on two benchmark datasets (i.e., THUMOS14 and ActivityNet1.3), and experimental results clearly corroborate the efficacy of our method.

研究动机与目标

• 解决仅提供视频级标签时，在未剪辑视频中进行弱监督动作识别与定位的挑战。
• 克服从剪辑视频到未剪辑视频中无约束知识迁移的局限性，后者可能引入无关噪声并降低模型泛化能力。
• 提出一种方法，通过仅将知识迁移限制在领域可适应特征上，同时排除领域特定特征，以确保可靠的知识迁移。
• 仅使用粗粒度的视频级标注，实现对未剪辑视频中动作的精确时间定位。
• 设计一个统一框架，通过带有三元编码的编码器-解码器结构，联合优化动作分类与时间边界检测。

提出的方法

• 提出一种可适应性分解机制，根据特征在剪辑与未剪辑领域之间的可迁移性，将原始视频特征分解为领域可适应与领域特定两部分。
• 设计一种三元编码器架构，包含共享编码器与私有编码器，分别用于提取领域可适应与领域特定特征，从而实现判别性特征学习。
• 实现一种双向点过程模型，从正向与反向两个方向探索视频帧，以优化动作定位的时间边界检测。
• 集成解码器模块，以最小信息损失重建特征，保留编码器-解码器路径中空间与时间的相关性。
• 制定一种联合优化损失，结合领域可适应性损失（$\mathcal{L}_{\mathrm{adp}}$）与领域差异损失（$\mathcal{L}_{\mathrm{dif}}$），以指导特征分解并提升泛化能力。
• 利用多视角时间类激活映射（T-CAM）作为类别特定指标，实现精确的动作定位，借助自注意力表示实现帧级注意力。

实验结果

研究问题

• RQ1 特征的可适应性分解是否能提升在弱监督动作识别中从剪辑视频到未剪辑视频的知识迁移可靠性？
• RQ2 将领域可适应特征与领域特定特征分离，对仅使用视频级监督的未剪辑视频中的动作定位性能有何影响？
• RQ3 与单向或非点过程方法相比，双向点过程建模在多大程度上提升了时间边界检测性能？
• RQ4 所提出的带有三元编码的编码器-解码器结构是否能在弱监督下，优于标准网络在联合动作分类与定位任务中的表现？
• RQ5 在定位精度与对领域偏移的鲁棒性方面，该方法与完全监督及弱监督的最先进方法相比表现如何？

主要发现

• AdapNet 在 THUMOS14 与 ActivityNet1.3 数据集上均达到最先进性能，显著超越现有弱监督方法在动作定位上的表现。
• 该方法在平均平均精度（mAP@IoU=0.5）方面与多个完全监督基线模型相当或更优，证明了在弱监督下具有强大的泛化能力。
• 消融实验表明，共享编码器与私有编码器均不可或缺：移除任一组件均导致性能显著下降。
• 引入 RGB 与光流特征可进一步提升精度，凸显多模态输入在特征分解中的优势。
• 定性结果表明，AdapNet 即使在复杂背景、大幅视角变化及相似动作模式的视频中，也能有效定位动作，且误报率低于对比方法。
• 与 TSRNet 不受约束的知识迁移导致在无关片段中产生误报不同，AdapNet 将知识迁移限制在语义一致的子空间中，从而实现更准确、更可靠的定位。