[論文レビュー] Diversifying Spatial-Temporal Perception for Video Domain Generalization

Kun-Yu Lin, Jia-Run Du+3 more|arXiv (Cornell University)|Oct 27, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、空間的および時間的特徴学習における多様性を高めることで、動画のドメイン一般化を向上させるため、空間的時間的多様性ネットワーク（STDN）を提案する。空間的グルーピングモジュールと空間的時間的関係モジュールを導入することで、静的でドメイン特有の特徴（例：バックボード）とは対照的に、動く物体（例：バスケットボール）のようなドメイン不変の特徴を同定し、2つの新しいベンチマークを含む3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Video domain generalization aims to learn generalizable video classification models for unseen target domains by training in a source domain. A critical challenge of video domain generalization is to defend against the heavy reliance on domain-specific cues extracted from the source domain when recognizing target videos. To this end, we propose to perceive diverse spatial-temporal cues in videos, aiming to discover potential domain-invariant cues in addition to domain-specific cues. We contribute a novel model named Spatial-Temporal Diversification Network (STDN), which improves the diversity from both space and time dimensions of video data. First, our STDN proposes to discover various types of spatial cues within individual frames by spatial grouping. Then, our STDN proposes to explicitly model spatial-temporal dependencies between video contents at multiple space-time scales by spatial-temporal relation modeling. Extensive experiments on three benchmarks of different types demonstrate the effectiveness and versatility of our approach.

研究の動機と目的

• 学習ドメインにおけるドメイン特有の特徴に過剰に適合してしまう動画ドメイン一般化の課題に対処すること。
• 未観測のターゲットドメインで失敗する静的で容易に適合可能なドメイン特有の特徴（例：バックボード）への依存を軽減すること。
• 空間的時間的特徴の多様性を高めることで、ドメイン不変の特徴（例：バスケットボールのような動的な物体）を同定・活用すること。
• 複数スケールにわたる空間的時間的依存関係を明示的にモデル化することで、モデルの一般化性能を向上させること。
• 空間的および時間的次元から特徴の多様性を向上させる統合的なフレームワークを構築すること。

提案手法

• 個々のフレームから多様な空間的特徴を抽出するために、クラスタリングに類似したプロセスを適用する空間的グルーピングモジュール（SGM）を提案し、空間的特徴の多様性を向上させる。
• 複数の空間的時間的スケールで動画コンテンツ間の依存関係をモデル化する空間的時間的関係モジュール（TRM）を導入し、時間的および空間的関係の多様性を向上させる。
• 異なる時間スケールにおける時間的関係特徴の差を最大化するため、関係識別損失 $L_{\mathrm{rel}}$ を採用し、特徴の崩壊を防止する。
• 時間的関係特徴の多様性を定量的に測定するために、正規化された平均二乗誤差（MSE）を用い、値が高くなるほど多様性が向上していることを示す。
• 空間的クラスタリングの品質を評価するために、t-SNEおよびDavies-Bouldin指数を用い、SGMがクラスタの分離性を向上させることを示した。
• Grad-CAMの可視化を用いて注意マップを比較し、STDNが動くバスケットボールのような多様でドメイン不変の特徴に注目しているのを確認した。

Figure 1: Video classification models suffer from the misguidance of domain-specific cues when generalizing to unseen domains. As shown in the figure, in the source domain, the static backboard provides a clearer cue compared with the blurred basketball in motion, thus prevailing video classificatio

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的特徴の多様性を高めることで、動画ドメイン一般化におけるドメイン特有の特徴への過剰適合を軽減できるか？
• RQ2 複数スケールにわたる空間的時間的依存関係をモデル化することで、未観測ドメインへの一般化性能が向上するか？
• RQ3 クラスタリングに類似した空間的グルーピング機構は、動画フレームからより多様で判別力のある空間的特徴を抽出できるか？
• RQ4 提案された関係識別損失は、時間スケールにわたる特徴の多様性をどの程度向上させるか？
• RQ5 モデルは、静的でドメイン特有の特徴（例：バックボード）に依存するのではなく、動的でドメイン不変の特徴（例：動く物体）に依存することで、より良い一般化性能を達成できるか？

主な発見

• STDNは、2つの新規に設計されたベンチマークを含む3つのベンチマークで最先端の性能を達成し、その有効性と汎用性を示した。
• 提案された関係識別損失 $L_{\mathrm{rel}}$ は、異なるスケールにおける時間的関係特徴間の正規化MSEを顕著に増加させ、多様性の向上を示した。
• t-SNEの可視化では、SGMが平均プーリングよりも良好に分離された空間的クラスタを生成しており、Davies-Bouldin指数が低く抑えられていることが確認された。
• Grad-CAMの可視化により、STDNが動くバスケットボールを含む多様な特徴に注目しているのに対し、ベースラインモデルは静的なバックボードに依存していることが確認された。
• ドメイン特有の特徴（例：バックボード）が遮蔽された未観測ドメインに対しても、STDNはドメイン不変の特徴を活用できるため、より優れた一般化性能を示した。
• 定量的分析により、STDNの特徴の多様性はベースラインを上回っており、特にSGMとTRMに加えて関係損失を組み合わせた場合に顕著に向上していることが示された。

Figure 2: An overview of our proposed Spatial-Temporal Diversification Network (STDN). We use a video of $N=5$ segments with $K=4$ spatial groups for example. After backbone feature extraction, our STDN extracts spatial cues of $K$ types for each frame by the Spatial Grouping Module, enriching the d