[論文レビュー] Temporal Attentive Alignment for Large-Scale Video Domain Adaptation

Min-Hung Chen, Zsolt Kira+4 more|arXiv (Cornell University)|Jul 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 16

ひとこと要約

本論文は、より効果的な特徴統合のため、高差違動的な時間的ダイナミクスに明示的に注目するTemporal Attentive Adversarial Adaptation Network（TA3N）を提案する。大規模な動画ドメイン適応（DA）において、最先端の性能を達成しており、UCF→HMDBでは『Source only』に比べ7.9%の精度向上を達成し、Gameplay→Kineticsでは10.3%の向上を示している。これは、新たに導入された大規模な動画DAデータセットであるUCF-HMDB fullおよびKinetics-Gameplayを用いて実現された。

ABSTRACT

Although various image-based domain adaptation (DA) techniques have been proposed in recent years, domain shift in videos is still not well-explored. Most previous works only evaluate performance on small-scale datasets which are saturated. Therefore, we first propose two large-scale video DA datasets with much larger domain discrepancy: UCF-HMDB_full and Kinetics-Gameplay. Second, we investigate different DA integration methods for videos, and show that simultaneously aligning and learning temporal dynamics achieves effective alignment even without sophisticated DA methods. Finally, we propose Temporal Attentive Adversarial Adaptation Network (TA3N), which explicitly attends to the temporal dynamics using domain discrepancy for more effective domain alignment, achieving state-of-the-art performance on four video DA datasets (e.g. 7.9% accuracy gain over "Source only" from 73.9% to 81.8% on "HMDB --> UCF", and 10.3% gain on "Kinetics --> Gameplay"). The code and data are released at http://github.com/cmhungsteve/TA3N.

研究の動機と目的

• 動画におけるドメインシフトの未解明な問題、特に大規模かつ高差違動的な動画ドメイン適応（DA）ベンチマークの不足に取り組むこと。
• 動画DAにおける時間的ダイナミクスの統合と空間特徴の統合の有効性を調査し、DA手法の選択よりも時間的統合がより重要であることを示すこと。
• ドメイン分布に配慮した注目機構を用いて、高差違動的な時間的特徴に注目する、時間的ダイナミクスと特徴を共同で学習する新規手法TA3Nを提案すること。
• 今後の動画DA手法の厳密な評価とベンチマーク化を可能にするために、UCF-HMDB fullおよびKinetics-Gameplayという2つの新しい大規模な動画DAデータセットを公開すること。

提案手法

• UCF101とHMDB51の間に12の重複カテゴリを持つUCF-HMDB full、およびKinetics-600と30の重複カテゴリを持つKinetics-Gameplayという、従来の小規模ベンチマークを上回るドメイン差違動を有する、2つの新しい大規模な動画DAデータセットを提案する。
• 空間的特徴と時間的特徴を同時に統合するベースライン手法TA2Nを導入し、時間的ダイナミクスの統合が空間特徴のみの統合を上回ることを示す。
• ドメイン分布の差違動に基づいて、ドメイン差違動に寄与する時間的ダイナミクスに注目する学習可能な注目機構を用いることで、TA3Nを構築する。
• 複数のドメイン識別器を用いた敵対的訓練により、ソースドメインとターゲットドメイン間の埋め込み特徴空間を統合し、ドメイン差違動に応じて注目を調整する。
• 光センサを避けてRGBフレームのみを用い、時間的特徴エンコーディングにはTemporal Relation（TemRelation）およびTemporal Pooling（TemPooling）モジュールを統合する。
• 敵対的訓練中に、ドメイン差違動に応じて動的に重み付けされるドメイン差違動に配慮した注目を用い、ソースとターゲットドメイン間の発散が大きい時間的特徴を優先する。

実験結果

リサーチクエスチョン

• RQ1 空間的特徴の代わりに、時間的ダイナミクスを明示的に統合することで、効果的な動画ドメイン適応が達成可能か？
• RQ2 動画ドメイン適応において、DA手法の選択よりも統合対象の特徴の選択の方が重要か？
• RQ3 時間的ダイナミクスにおけるドメイン差違動が全体のドメインシフトに与える影響は何か？ また、これをより良い統合に活用できるか？
• RQ4 高差違動的な時間的特徴に注目する学習可能な注目機構は、動画のドメイン適応性能を向上させられるか？
• RQ5 UCF-HMDB fullおよびKinetics-Gameplayといった大規模で高差違動的な動画DAデータセットは、既存のベンチマークと比較して、課題の難易度と現実性においてどのように異なるか？

主な発見

• HMDB→UCFデータセットにおいて、TA3Nは『Source only』ベースラインに比べ7.9%の精度向上を達成し、73.9%から81.8%に向上した。
• より挑戦的なKinetics→Gameplayデータセットでは、TA3Nは『Source only』に比べ10.3%の精度向上を示し、高ドメイン差違動に対しても強力であることが示された。
• 提案されたUCF-HMDB fullおよびKinetics-Gameplayデータセットは、既存のベンチマーク（UCF-HMDB smallなど）よりも顕著に高いドメイン差違動を示しており、動画DA手法の評価に適している。
• 時間的ダイナミクスの統合（TA2Nを用いて）は、空間特徴のみの統合を上回り、何を統合するかの選択が、使用するDA手法の洗練度よりも重要であることが示された。
• アブレーションスタディにより、高差違動的な時間的特徴への注目がより良い統合をもたらすことが確認され、TA3NはすべてのデータセットでTA2Nおよび非注目ベースラインを上回った。
• 光センサや動きモデリングを一切使用しないにもかかわらず、TA3Nは最先端性能を達成しており、時間的注目が動きの欠如を効果的に補っていることが示された。