[论文解读] Diversifying Spatial-Temporal Perception for Video Domain Generalization

Kun-Yu Lin, Jia-Run Du+3 more|arXiv (Cornell University)|Oct 27, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出空间-时间多样化网络（STDN），通过增强空间与时间特征学习的多样性，提升视频域泛化能力。通过引入空间分组模块（SGM）与时空关系模块（TRM），STDN能够发现如移动物体（例如篮球）等域不变线索，而非依赖静态的域特定线索（例如篮筐），在三个基准数据集（包括两个新设计的）上实现了最先进性能。

ABSTRACT

Video domain generalization aims to learn generalizable video classification models for unseen target domains by training in a source domain. A critical challenge of video domain generalization is to defend against the heavy reliance on domain-specific cues extracted from the source domain when recognizing target videos. To this end, we propose to perceive diverse spatial-temporal cues in videos, aiming to discover potential domain-invariant cues in addition to domain-specific cues. We contribute a novel model named Spatial-Temporal Diversification Network (STDN), which improves the diversity from both space and time dimensions of video data. First, our STDN proposes to discover various types of spatial cues within individual frames by spatial grouping. Then, our STDN proposes to explicitly model spatial-temporal dependencies between video contents at multiple space-time scales by spatial-temporal relation modeling. Extensive experiments on three benchmarks of different types demonstrate the effectiveness and versatility of our approach.

研究动机与目标

• 解决视频域泛化中的挑战，即模型在源域中过度拟合于域特定线索。
• 减少对静态、易拟合的域特定线索（例如篮筐）的依赖，这些线索在未见目标域中会失效。
• 通过增强空间-时间特征多样性，发现并利用域不变线索（例如动态物体如篮球）。
• 通过显式建模多尺度下的空间-时间依赖关系，提升模型泛化能力。
• 开发统一框架，从空间与时间两个维度增强特征多样性。

提出的方法

• 提出空间分组模块（SGM），通过类似聚类的过程从单帧中提取多样化空间线索，提升空间特征多样性。
• 引入时空关系模块（TRM），建模多尺度时空下视频内容之间的依赖关系，增强时空关系多样性。
• 采用关系判别损失 $L_{\mathrm{rel}}$，最大化不同时间尺度下时间关系特征的差异，防止特征坍塌。
• 使用归一化均方误差（MSE）定量衡量时间关系特征的多样性，数值越高表示多样性越强。
• 利用 t-SNE 与 Davies-Bouldin 指数评估空间聚类质量，结果表明 SGM 显著提升了聚类分离度。
• 采用 Grad-CAM 可视化对比注意力图，表明 STDN 关注多样化线索，包括域不变线索（如移动的篮球）。

Figure 1: Video classification models suffer from the misguidance of domain-specific cues when generalizing to unseen domains. As shown in the figure, in the source domain, the static backboard provides a clearer cue compared with the blurred basketball in motion, thus prevailing video classificatio

实验结果

研究问题

• RQ1 增强空间与时间特征多样性是否能减少在视频域泛化中对域特定线索的过拟合？
• RQ2 在多尺度下建模空间-时间依赖关系是否能提升对未见域的泛化能力？
• RQ3 类似聚类的空间分组机制是否能从视频帧中提取出更丰富且更具判别性的空间线索？
• RQ4 所提出的关联判别损失在多大程度上提升了跨时间尺度的特征多样性？
• RQ5 模型是否能学会依赖动态、域不变线索（如移动物体）而非静态、域特定线索（如篮筐）以实现更好的泛化？

主要发现

• STDN 在三个基准数据集上（包括两个新设计的）实现了最先进性能，证明了其有效性与通用性。
• 所提出的关联判别损失 $L_{\mathrm{rel}}$ 显著提高了不同尺度下时间关系特征之间的归一化 MSE，表明特征多样性得到增强。
• t-SNE 可视化显示，空间分组模块生成的聚类比平均池化更分离，Davies-Bouldin 指数更低。
• Grad-CAM 可视化证实，STDN 关注多样化线索，包括动态篮球，而基线模型则依赖静态篮筐。
• 当域特定线索（如篮筐）被遮挡时，模型在未见域上泛化能力更强，归因于其能有效利用域不变线索。
• 定量分析表明，STDN 的特征多样性高于基线模型，尤其在结合 SGM 与 TRM 及关联损失时表现更优。

Figure 2: An overview of our proposed Spatial-Temporal Diversification Network (STDN). We use a video of $N=5$ segments with $K=4$ spatial groups for example. After backbone feature extraction, our STDN extracts spatial cues of $K$ types for each frame by the Spatial Grouping Module, enriching the d