[论文解读] Contrast and Mix: Temporal Contrastive Video Domain Adaptation with Background Mixing

Aadarsh Sahoo, Rutav Shah+3 more|arXiv (Cornell University)|Oct 28, 2021

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出 CoMix，一种用于时间对比视频域适应的框架，通过背景混合与伪标签技术，在无需对抗训练的情况下学习跨域的不变且具有判别性的特征。通过最大化多速度视图之间的相似性，并引入混合背景视频作为额外正样本，CoMix 在 UCF-HMDB 和 Jester 基准上达到最先进性能，相比源域仅训练基线方法最高提升 10.7%。

ABSTRACT

Unsupervised domain adaptation which aims to adapt models trained on a labeled source domain to a completely unlabeled target domain has attracted much attention in recent years. While many domain adaptation techniques have been proposed for images, the problem of unsupervised domain adaptation in videos remains largely underexplored. In this paper, we introduce Contrast and Mix (CoMix), a new contrastive learning framework that aims to learn discriminative invariant feature representations for unsupervised video domain adaptation. First, unlike existing methods that rely on adversarial learning for feature alignment, we utilize temporal contrastive learning to bridge the domain gap by maximizing the similarity between encoded representations of an unlabeled video at two different speeds as well as minimizing the similarity between different videos played at different speeds. Second, we propose a novel extension to the temporal contrastive loss by using background mixing that allows additional positives per anchor, thus adapting contrastive learning to leverage action semantics shared across both domains. Moreover, we also integrate a supervised contrastive learning objective using target pseudo-labels to enhance discriminability of the latent space for video domain adaptation. Extensive experiments on several benchmark datasets demonstrate the superiority of our proposed approach over state-of-the-art methods. Project page: https://cvir.github.io/projects/comix

研究动机与目标

• 为解决视频动作识别中缺乏有效无监督域适应方法的问题，特别是那些能够利用时间动态与共享动作语义的方法。
• 克服对抗学习在视频域适应中的局限性，如训练不稳定与收敛性差的问题。
• 通过利用不变的动作语义实现跨域特征对齐，尤其在背景不同但动作相同的情况下。
• 通过目标域的伪标签增强潜在空间中的判别能力，实现在无真实标签情况下的自监督对比学习。

提出的方法

• 该方法使用图卷积网络（GCN）将视频表示为图，以捕捉时间依赖性。
• 采用时间对比学习（TCL）以最大化同一视频不同速度版本之间的相似性，同时最小化不同视频在不同速度下的相似性。
• 引入背景混合技术，通过在源域与目标域之间交换背景，生成合成视频，为对比学习提供额外正样本。
• 利用目标域的伪标签构建监督对比学习目标，使同一动作类别的特征在嵌入空间中更紧密聚集。
• 该框架将时间对比损失、背景混合损失与伪标签对比损失统一为单一端到端训练目标。
• 背景提取采用时间中值滤波，其性能优于更复杂的高斯混合模型等方法。

实验结果

研究问题

• RQ1 时间对比学习是否能在无需对抗训练的情况下有效对齐跨视频域的特征？
• RQ2 如何利用背景混合生成能反映跨域共享动作语义的有意义正样本？
• RQ3 在无监督视频域适应中，引入目标域伪标签在多大程度上提升了判别性特征学习？
• RQ4 与标准 RNN 或 MLP 相比，图表示是否能增强时间特征学习？
• RQ5 在准确率与鲁棒性方面，该方法与对抗方法及特征匹配方法相比表现如何？

主要发现

• CoMix 在 UCF-HMDB 上比源域仅训练基线提升 5.2%，在 Jester 上提升 10.7%，表明其具有显著的域适应增益。
• 当两者均使用 GCN 时，CoMix 在 UCF-HMDB 上比 DANN 提升 7.1%，在 Jester 上提升 1.8%，证明其优于对抗训练方法。
• 使用 GCN 进行图表示在 UCF-HMDB 上达到 90.3% 的准确率，优于 MLP（88.1%）与 LSTM（84.3%），证明其在捕捉时间依赖性方面的有效性。
• 通过时间中值滤波进行背景提取，平均优于 GMM 2.3%，表明其高效且有效。
• 使用 t-SNE 的特征可视化结果表明，随着 TCL、BGM 和 TPL 每个模块的逐步引入，域对齐与类别可分性逐步提升。
• 消融实验表明，结合所有模块（TCL、BGM、TPL）可获得最佳性能，验证了各模块之间的互补作用。