[论文解读] Adversarial Pyramid Network for Video Domain Generalization

Zhiyu Yao, Yunbo Wang+3 more|arXiv (Cornell University)|Dec 8, 2019

Human Pose and Action Recognition参考文献 23被引用 5

一句话总结

本文提出对抗金字塔网络（Adversarial Pyramid Network, APN）用于视频域泛化，通过在多个时间尺度上学习局部关系特征，同时结合全局和跨关系特征，以应对时间域偏移问题。APN 提升了特征可迁移性，并增强了对抗性数据增强效果，在四个新的视频 DG 基准上超越了先前模型。

ABSTRACT

This paper introduces a new research problem of video domain generalization (video DG) where most state-of-the-art action recognition networks degenerate due to the lack of exposure to the target domains of divergent distributions. While recent advances in video understanding focus on capturing the temporal relations of the long-term video context, we observe that the global temporal features are less generalizable in the video DG settings. The reason is that videos from other unseen domains may have unexpected absence, misalignment, or scale transformation of the temporal relations, which is known as the temporal domain shift. Therefore, the video DG is even more challenging than the image DG, which is also under-explored, because of the entanglement of the spatial and temporal domain shifts. This finding has led us to view the key to video DG as how to effectively learn the local-relation features of different time scales that are more generalizable, and how to exploit them along with the global-relation features to maintain the discriminability. This paper presents the Adversarial Pyramid Network (APN), which captures the local-relation, global-relation, and multilayer cross-relation features progressively. This pyramid network not only improves the feature transferability from the view of representation learning, but also enhances the diversity and quality of the new data points that can bridge different domains when it is integrated with an improved version of the image DG adversarial data augmentation method. We construct four video DG benchmarks: UCF-HMDB, Something-Something, PKU-MMD, and NTU, in which the source and target domains are divided according to different datasets, different consequences of actions, or different camera views. The APN consistently outperforms previous action recognition models over all benchmarks.

研究动机与目标

• 解决视频域泛化（video DG）的挑战，即动作识别模型在具有不同时间与空间分布的未见域上表现失败。
• 指出由于未见域中存在意外的时间域偏移（如时间对齐错位或尺度变化），全局时间特征的泛化能力较差。
• 提出一种解决方案，聚焦于在多个时间尺度上学习更具泛化能力的局部关系特征，以提升对时间域偏移的鲁棒性。
• 将金字塔特征学习与改进的基于图像 DG 的对抗性数据增强方法相结合，以增强域泛化能力和数据多样性。
• 建立四个新的视频 DG 基准，用于评估在不同数据集、动作结果和摄像头视角下的泛化性能。

提出的方法

• 设计一种金字塔网络，逐步捕捉多个时间尺度上的局部关系特征、全局关系特征以及多层跨关系特征。
• 采用分层特征学习策略，突出局部时间模式，因其对域偏移的不变性优于长程全局特征。
• 将金字塔网络与改进的对抗性数据增强方法相结合，该方法最初用于图像 DG，现通过生成多样化、跨域的视频样本，适配至视频任务。
• 使用域不变表示学习目标进行模型训练，以最小化域特定偏差，同时保留动作可区分性。
• 利用对抗训练合成真实、域无关的数据点，以提升未见域上的特征泛化能力。
• 通过分类损失与对抗损失的组合，端到端优化网络，以同时提升准确率与域不变性。

实验结果

研究问题

• RQ1 当面临意外的时间域偏移时，全局时间特征在视频域泛化中的表现如何？
• RQ2 与依赖全局时间建模相比，学习多时间尺度上的局部关系特征是否能提升视频 DG 中的泛化能力？
• RQ3 金字塔网络架构在多大程度上能增强特征可迁移性，并提升对空间与时间域偏移的鲁棒性？
• RQ4 将对抗性数据增强与金字塔特征学习相结合，在弥合视频动作识别中的域差距方面效果如何？
• RQ5 所提方法在多样化的、新构建的视频 DG 基准上相较于现有模型的性能提升有多大？

主要发现

• 对抗金字塔网络（APN）在新构建的四个视频 DG 基准（UCF-HMDB、Something-Something、PKU-MMD 和 NTU）上均实现了稳定的性能提升。
• APN 在所有基准上均优于先前的 SOTA 动作识别模型，展现出对未见域更强的泛化能力。
• 消融实验表明，多时间尺度上的局部关系特征比全局时间特征对时间域偏移更具鲁棒性。
• 将金字塔网络与对抗性数据增强相结合，显著提升了合成训练样本的多样性与质量，从而增强了域泛化能力。
• 所提方法有效缓解了空间与时间域偏移的纠缠问题，这是视频 DG 中的关键挑战。
• 结果验证了学习多尺度局部关系对于在分布偏移下实现视频域泛化的鲁棒性至关重要。