[論文レビュー] Leveraging Endo- and Exo-Temporal Regularization for Black-box Video Domain Adaptation

Yuecong Xu, Jianfei Yang+5 more|arXiv (Cornell University)|Aug 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、ソースデータやモデルパラメータにアクセスできない状況下で、分類可能な時間的特徴を学習するために内時的および外的時間正則化を活用する、新規のブラックボックス動画ドメイン適応フレームワークであるEXTERNを提案する。マスク・トゥ・ミックス戦略とブラックボックス予測子からの知識蒸留を適用することで、クロスドメイン行動認識ベンチマークにおいて最先端の性能を達成し、既存手法よりも相対的に最大23.1%の向上を達成した。

ABSTRACT

To enable video models to be applied seamlessly across video tasks in different environments, various Video Unsupervised Domain Adaptation (VUDA) methods have been proposed to improve the robustness and transferability of video models. Despite improvements made in model robustness, these VUDA methods require access to both source data and source model parameters for adaptation, raising serious data privacy and model portability issues. To cope with the above concerns, this paper firstly formulates Black-box Video Domain Adaptation (BVDA) as a more realistic yet challenging scenario where the source video model is provided only as a black-box predictor. While a few methods for Black-box Domain Adaptation (BDA) are proposed in image domain, these methods cannot apply to video domain since video modality has more complicated temporal features that are harder to align. To address BVDA, we propose a novel Endo and eXo-TEmporal Regularized Network (EXTERN) by applying mask-to-mix strategies and video-tailored regularizations: endo-temporal regularization and exo-temporal regularization, performed across both clip and temporal features, while distilling knowledge from the predictions obtained from the black-box predictor. Empirical results demonstrate the state-of-the-art performance of EXTERN across various cross-domain closed-set and partial-set action recognition benchmarks, which even surpassed most existing video domain adaptation methods with source data accessibility.

研究の動機と目的

• ソースデータやモデルパラメータが利用できないプライバシーに配慮した環境における動画モデルの移行という重要な課題に取り組む。
• プライベートで実用的かつ挑戦的なシナリオとして、ブラックボックス動画ドメイン適応（BVDA）を定式化し、その研究を進める。
• ソースドメインの情報に依存せずに、自己教師付き正則化により、ターゲット動画特徴の判別性と時間的整合性を向上させる。
• ソースデータやモデルへのアクセスなしに、クローズドセットおよびパーシャルセットラベルシフト設定の両方で効果的なドメイン適応を実現する。

提案手法

• マスクされたクリップ特徴を組み合わせることで仮想的な時間的特徴を生成する、新規のマスク・トゥ・ミックス戦略を提案し、時間的特徴の多様性とロバスト性を向上させる。
• クリップ特徴を時間的特徴と整合させるために内的時間正則化を導入し、マスク時間仮説およびクラスタ仮説に準拠するよう促進する。
• 異なる時間的セグメント間での一貫性を促進することで、時間的特徴の判別性を向上させるために外的時間正則化を適用する。
• ソースモデルの重みにアクセスできない状況下で、ブラックボックスソース予測子からの知識蒸留を用いて、ターゲットドメイン特徴の学習をガイドする。
• 時間的特徴集約時に情報量の多いクリップを動的に強調するために、クリップレベルのアテンション重みを用いる。
• クリップ特徴と時間的特徴間の相互情報量を増加させることで、特徴表現を強化するため、情報最大化を統合する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータやモデルパラメータにアクセスできない状況下で、内的および外的時間正則化が、特徴の判別性を効果的に向上させられるか？
• RQ2 ソースデータが存在しない状況下で、マスク・トゥ・ミックス戦略が、ロバストで汎用性の高い時間的特徴の学習にどのように寄与するか？
• RQ3 ブラックボックス予測子からの知識蒸留は、ソースモデルへのアクセスが制限される状況下で、動画ドメイン適応においてどの程度の補完的効果を示すか？
• RQ4 ラベルシフトがソースドメインとターゲットドメインの間に存在する部分集合ドメイン適応設定においても、提案手法が強力な性能を維持できるか？
• RQ5 正則化強度や仮想特徴混合比といったハイパーパrameter設定に対して、提案フレームワークの性能はどの程度感度を示すか？

主な発見

• EXTERNは、複数のクロスドメイン行動認識ベンチマークで最先端の性能を達成し、ソースデータにアクセス可能な既存の動画ドメイン適応手法即ち、それらを上回っている。
• UCF-HMDBパーシャルベンチマークでは、最も優れた先行BDA手法比で23.1%の相対的向上を達成し、ラベルシフト下でも強いロバスト性を示した。
• アブレーションスタディの結果、内的時間正則化、外的時間正則化、仮想特徴構築、予測蒸留、情報最大化の各学習目的が、性能向上に顕著に寄与していることが確認された。
• モデルは広範なハイパーパrameter設定において一貫した性能を維持しており、正確さの変動がたった0.83%にとどまり、強いロバスト性を示した。
• t-SNE可視化により、EXTERNはより凝集的かつ判別性の高いクリップおよび時間的特徴を生成していることが確認され、クラスタ仮説およびマスク時間仮説への適合が裏付けられた。
• 内的時間正則化のみを用いても、すべての先行BDA手法を上回る性能向上が得られ、時間的特徴学習におけるその有効性が実証された。