[論文レビュー] Multi-Source Video Domain Adaptation with Temporal Attentive Moment Alignment

Yuecong Xu, Jianfei Yang+5 more|arXiv (Cornell University)|Sep 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 5

ひとこと要約

本稿では、複数のソースドメインとターゲットドメイン間で空間的・時間的特徴のモーメントを統合的にアライメントする新しい時系列アテンションモーメントアライメントネットワーク（TAMAN）を提案する。TAMANは、高信頼度でドメイン不変な局所的時間的特徴に注目し、動的にモーメントをアライメントすることで、負の転送を低減し、新規の包括的なMSVDAベンチマークで最先端の性能を達成する。

ABSTRACT

Multi-Source Domain Adaptation (MSDA) is a more practical domain adaptation scenario in real-world scenarios. It relaxes the assumption in conventional Unsupervised Domain Adaptation (UDA) that source data are sampled from a single domain and match a uniform data distribution. MSDA is more difficult due to the existence of different domain shifts between distinct domain pairs. When considering videos, the negative transfer would be provoked by spatial-temporal features and can be formulated into a more challenging Multi-Source Video Domain Adaptation (MSVDA) problem. In this paper, we address the MSVDA problem by proposing a novel Temporal Attentive Moment Alignment Network (TAMAN) which aims for effective feature transfer by dynamically aligning both spatial and temporal feature moments. TAMAN further constructs robust global temporal features by attending to dominant domain-invariant local temporal features with high local classification confidence and low disparity between global and local feature discrepancies. To facilitate future research on the MSVDA problem, we introduce comprehensive benchmarks, covering extensive MSVDA scenarios. Empirical results demonstrate a superior performance of the proposed TAMAN across multiple MSVDA benchmarks.

研究の動機と目的

• 複数のソースドメインが多様な空間的・時間的分布を示す場合に生じる、マルチソース動画ドメイン適応（MSVDA）における負の転送の課題に対処すること。
• すべてのソース・ターゲットドメインペア間で空間的および時間的特徴モーメントを統合的にアライメントする統一フレームワークの構築。
• 分類の信頼度が高く、グローバルおよびローカル表現の乖離が小さい局所的時間的特徴に注目することで、頑健なグローバル時間的特徴を構築すること。
• 実世界の動画データセットを用い、多様なドメインシフトを含む包括的かつ大規模なベンチマークを構築し、将来的なMSVDA研究を支援すること。
• 複数のソースドメインと困難なターゲットドメインを含む多様で現実的なMSVDAシナリオにおいて、提案手法の有効性を示すこと。

提案手法

• TAMANは、フレームレベルの特徴抽出にResNet-101バックボーンと時系列関係ネットワークを用い、事前学習された層を固定し、新しい層を微調整する。
• 局所的時間的特徴に対するアテンションによりグローバル時間的特徴を構築し、局所的分類の信頼度とグローバル・ローカル特徴分布の乖離に基づいて重みを付ける。
• すべてのドメインペア間で空間的および時間的特徴のモーメントベースのアライメントを実行し、分布の乖離を最小化するとともに、負の転送を低減する。
• 空間的および時間的特徴アライメントをバランスさせるために、学習可能な重み（λdf=0.005, λdt=0.01）を用いた二重の乖離損失を採用する。
• SGDを用いて学習を実行し、100エポック（Daily-DA）または40エポック（Sports-DA）の間で初期の学習率をコサインスケジューリングで減少させる。
• ソースドメインにおける特徴アライメントと分類損失の共同最適化により、ドメイン不変表現学習を達成する。

実験結果

リサーチクエスチョン

• RQ1 複数のソースドメイン間で一貫性のない空間的・時間的分布が生じる場合に、マルチソース動画ドメイン適応（MSVDA）における負の転送を効果的に低減する方法は何か？
• RQ2 局所的時間的特徴に対するアテンション機構は、MSVDAにおけるグローバル時間的表現の頑健性と不変性を向上させるか？
• RQ3 すべてのドメインペア間で空間的および時間的特徴モーメントを統合的にアライメントすることは、ペアワイズアライメントよりも優れた一般化性能をもたらすか？
• RQ4 異なるソースドメインの組み合わせ（例：Kinetics, UCF101, HMDB51）が、現実の動画適応シナリオにおけるモデル性能に与える影響は何か？
• RQ5 統一フレームワークは、顕著なドメインシフトを示す大規模かつ多様な動画ベンチマークにおいて、既存のUDAおよびVUDA手法を上回る性能を発揮できるか？

主な発見

• TAMANは、Daily-DAやSports-DAを含む複数のMSVDAベンチマークで最先端の性能を達成し、複雑なドメインシフト下でも優れた一般化性能を示す。
• 提案された局所的時間的特徴へのアテンション機構は、RGB統計が著しく異なる低照度ドメイン（ARID）において特に顕著に、グローバル特徴の頑健性を向上させる。
• 空間的および時間的特徴の統合的モーメントアライメントは、独立またはペアワイズに特徴をアライメントする手法よりも、誤アライメントと負の転送を低減し、優れた性能を達成する。
• Daily-DAベンチマークでは、全4つのターゲットドメイン（A, H, M, K）で一貫した精度向上を達成し、特に挑戦的とされるARIDで顕著な改善が見られた。
• より大規模なSports-DAベンチマークでは、3つのタスク（Sports→U, S, K）で安定した高い性能を維持し、大容量かつ現実の動画データへのスケーラビリティを実証した。
• アブレーションスタディにより、局所的信頼度の重み付けとグローバル・ローカル乖離の最小化の両方が最適性能を達成するために不可欠であることが確認され、アテンション機構の設計が妥当であることが裏付けられた。