[论文解读] Leveraging Endo- and Exo-Temporal Regularization for Black-box Video Domain Adaptation

Yuecong Xu, Jianfei Yang+5 more|arXiv (Cornell University)|Aug 10, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种新颖的黑箱视频域适应框架 EXTERN，通过利用内生与外生时间正则化，在无法访问源数据或模型参数的情况下学习具有判别性的时序特征。通过应用掩码到混合策略并从黑箱预测器进行知识蒸馏，EXTERN 在跨域动作识别基准上实现了最先进性能，相比现有方法相对提升最高达 23.1%。

ABSTRACT

To enable video models to be applied seamlessly across video tasks in different environments, various Video Unsupervised Domain Adaptation (VUDA) methods have been proposed to improve the robustness and transferability of video models. Despite improvements made in model robustness, these VUDA methods require access to both source data and source model parameters for adaptation, raising serious data privacy and model portability issues. To cope with the above concerns, this paper firstly formulates Black-box Video Domain Adaptation (BVDA) as a more realistic yet challenging scenario where the source video model is provided only as a black-box predictor. While a few methods for Black-box Domain Adaptation (BDA) are proposed in image domain, these methods cannot apply to video domain since video modality has more complicated temporal features that are harder to align. To address BVDA, we propose a novel Endo and eXo-TEmporal Regularized Network (EXTERN) by applying mask-to-mix strategies and video-tailored regularizations: endo-temporal regularization and exo-temporal regularization, performed across both clip and temporal features, while distilling knowledge from the predictions obtained from the black-box predictor. Empirical results demonstrate the state-of-the-art performance of EXTERN across various cross-domain closed-set and partial-set action recognition benchmarks, which even surpassed most existing video domain adaptation methods with source data accessibility.

研究动机与目标

• 为解决在隐私敏感环境中无法访问源数据或模型参数时视频模型迁移的关键挑战。
• 将黑箱视频域适应（BVDA）形式化并研究为一种现实但具有挑战性的场景，以实现鲁棒且可移植的视频模型部署。
• 通过自监督正则化提高目标视频特征的判别性与时序一致性，且不依赖源域信息。
• 在无需源数据或模型访问的前提下，实现闭集与部分集标签偏移设置下的有效域适应。

提出的方法

• 提出一种新颖的掩码到混合策略，通过组合掩码剪辑特征生成虚拟时序特征，提升时序特征的多样性与鲁棒性。
• 引入内生时间正则化，将剪辑特征与时序特征对齐，促进符合掩码-时序假设与聚类假设。
• 应用外生时间正则化，通过鼓励不同时间片段间的一致性，提升时序特征的判别性。
• 从黑箱源预测器进行知识蒸馏，以指导目标域特征的学习，而无需访问源模型权重。
• 利用剪辑级别的注意力权重，在时序特征聚合过程中动态强调信息丰富的剪辑。
• 集成信息最大化，通过增加剪辑特征与时序特征之间的互信息，增强特征表示能力。

实验结果

研究问题

• RQ1 在无法访问源数据或模型参数的情况下，内生与外生时间正则化是否能有效提升黑箱视频域适应中的特征判别性？
• RQ2 掩码到混合策略在缺乏源数据的情况下，如何促进学习到鲁棒且可泛化的时序特征？
• RQ3 从黑箱预测器进行知识蒸馏在视频域适应中，能在多大程度上弥补缺乏源模型访问的不足？
• RQ4 所提出的方法在部分集域适应设置下是否仍能保持强性能，其中源域与目标域之间存在标签偏移？
• RQ5 所提出框架的性能对超参数设置（如正则化强度与虚拟特征混合比例）的敏感性如何？

主要发现

• EXTERN 在多个跨域动作识别基准上实现了最先进性能，超越了即使拥有源数据的现有视频域适应方法。
• 在 UCF-HMDB 部分基准上，EXTERN 相较于最佳先前 BDA 方法相对提升了 23.1%，表明其在标签偏移下具有强大鲁棒性。
• 消融研究证实，所有提出的优化目标——内生时间正则化、外生时间正则化、虚拟特征构建、预测蒸馏与信息最大化——均对性能有显著贡献。
• 该模型在广泛的超参数设置下保持一致性能，准确率波动仅为 0.83%，表明其具有强鲁棒性。
• t-SNE 可视化结果表明，EXTERN 生成的剪辑特征与时序特征更具聚类性与判别性，验证了其符合聚类假设与掩码-时序假设。
• 仅使用内生时间正则化带来的性能增益已超过所有先前 BDA 方法，证明其在时序特征学习中的有效性。