[論文レビュー] Adversarial Pyramid Network for Video Domain Generalization

Zhiyu Yao, Yunbo Wang+3 more|arXiv (Cornell University)|Dec 8, 2019

Human Pose and Action Recognition参考文献 23被引用数 5

ひとこと要約

本稿では、時間的ドメインシフトにさらされる動画ドメイン一般化の課題に応じて、複数の時間スケールにわたる局所的関係特徴と、グローバルおよびクロス関係特徴を併せて学習することで、特徴の転送性を向上させるとともに、敵対的データ拡張を強化する、Adversarial Pyramid Network (APN) を提案する。APN は、4つの新しい動画DGベンチマークで、先行モデルを上回る性能を発揮した。

ABSTRACT

This paper introduces a new research problem of video domain generalization (video DG) where most state-of-the-art action recognition networks degenerate due to the lack of exposure to the target domains of divergent distributions. While recent advances in video understanding focus on capturing the temporal relations of the long-term video context, we observe that the global temporal features are less generalizable in the video DG settings. The reason is that videos from other unseen domains may have unexpected absence, misalignment, or scale transformation of the temporal relations, which is known as the temporal domain shift. Therefore, the video DG is even more challenging than the image DG, which is also under-explored, because of the entanglement of the spatial and temporal domain shifts. This finding has led us to view the key to video DG as how to effectively learn the local-relation features of different time scales that are more generalizable, and how to exploit them along with the global-relation features to maintain the discriminability. This paper presents the Adversarial Pyramid Network (APN), which captures the local-relation, global-relation, and multilayer cross-relation features progressively. This pyramid network not only improves the feature transferability from the view of representation learning, but also enhances the diversity and quality of the new data points that can bridge different domains when it is integrated with an improved version of the image DG adversarial data augmentation method. We construct four video DG benchmarks: UCF-HMDB, Something-Something, PKU-MMD, and NTU, in which the source and target domains are divided according to different datasets, different consequences of actions, or different camera views. The APN consistently outperforms previous action recognition models over all benchmarks.

研究の動機と目的

• 時間的・空間的分布が異なる未観測ドメインで動作しなくなる行動認識モデルの課題に取り組むこと。
• 未観測ドメインにおける時間的ドメインシフト（例：ずれやスケール変化）により、グローバル時間特徴は一般化性が低いことが同定されること。
• 時間的ドメインシフトに対してより頑健であるよう、複数の時間スケールにわたるより一般化可能な局所的関係特徴を学習するソリューションを提案すること。
• ピラミッド特徴学習と、画像DGに基づく改善済みの敵対的データ拡張を統合し、ドメイン一般化とデータ多様性を向上させること。
• 異なるデータセット、行動結果、カメラビューをカバーする、4つの新しい動画DGベンチマークを構築すること。

提案手法

• 複数の時間スケールで段階的に局所的関係特徴、グローバル関係特徴、マルチレイヤークロス関係特徴を捉えるピラミッドネットワークを設計すること。
• 階層的特徴学習戦略を用いて、長距離グローバル特徴よりもドメインシフトに不変性を示す局所的時間パターンに焦点を当てる。
• ピラミッドネットワークと、元来画像DG向けに開発された強化済みの敵対的データ拡張法を統合し、動画に適応して多様でドメインを越えた動画サンプルを生成すること。
• ドメイン固有のバイアスを最小化しつつ行動判別性を維持するため、ドメイン不変表現学習の目的関数でモデルを訓練すること。
• 敵対的訓練を活用して、現実的でドメインに依存しないデータポイントを合成し、未観測ドメインにおける特徴一般化を向上させること。
• 分類損失と敵対的損失の組み合わせを用いて、エンドツーエンドでネットワークを最適化し、精度とドメイン不変性の両方を向上させること。

実験結果

リサーチクエスチョン

• RQ1 予期しない時間的ドメインシフトにさらされた状況下で、グローバル時間特徴は動画ドメイン一般化においてどのように性能を発揮するか？
• RQ2 複数の時間スケールにわたる局所的関係特徴を学習することで、グローバル時間モデリングに依存するのと比較して、動画DGにおける一般化性能が向上するか？
• RQ3 ピラミッドネットワークアーキテクチャは、空間的および時間的ドメインシフトの両方に対して、特徴の転送性と頑健性をどの程度向上させられるか？
• RQ4 ピラミッド特徴学習と敵対的データ拡張を統合することで、動画行動認識におけるドメインギャップをどの程度効果的に埋め合わせられるか？
• RQ5 提案手法は、多様で新たに構築された動画DGベンチマークにおいて、既存モデルと比較してどの程度の性能向上を達成するか？

主な発見

• Adversarial Pyramid Network (APN) は、新たに構築された4つの動画DGベンチマーク（UCF-HMDB, Something-Something, PKU-MMD, NTU）すべてで一貫した性能向上を達成した。
• APN は、すべてのベンチマークで先行するSOTA行動認識モデルを上回り、未観測ドメインへの一般化性能が優れていることを示した。
• アブレーションスタディにより、複数の時間スケールにわたる局所的関係特徴は、グローバル時間特徴よりも時間的ドメインシフトに対してより頑健であることが確認された。
• ピラミッドネットワークと敵対的データ拡張の統合により、合成学習サンプルの多様性と品質が顕著に向上し、ドメイン一般化性能が向上した。
• 本手法は、空間的および時間的ドメインシフトのエンタングルメントを効果的に緩和しており、動画DGにおける主要な課題を解決した。
• 分布シフト下での動画ドメイン一般化における頑健性を達成するには、多スケールの局所的関係を学習することが不可欠であることが、結果から裏付けられた。