[論文レビュー] Aligning Correlation Information for Domain Adaptation in Action Recognition

Yuecong Xu, Jianfei Yang+4 more|arXiv (Cornell University)|Jul 11, 2021

Human Pose and Action Recognition参考文献 66被引用数 5

ひとこと要約

本論文は、ピクセル相関不一致（PCD）を用いてドメイン間の空間的時間的相関特徴を整列させることで、行動認識におけるドメイン適応を向上させる敵対的相関適応ネットワーク（ACAN）を提案する。ACANは、既存のデータセットおよび新たに導入されたクロスドメイン動画データセット（HMDB-ARID）の両方で最先端の性能を達成し、特に低照度やぼやけなど悪条件による大きなドメインシフト下でも顕著な精度向上を示している。

ABSTRACT

Domain adaptation (DA) approaches address domain shift and enable networks to be applied to different scenarios. Although various image DA approaches have been proposed in recent years, there is limited research towards video DA. This is partly due to the complexity in adapting the different modalities of features in videos, which includes the correlation features extracted as long-term dependencies of pixels across spatiotemporal dimensions. The correlation features are highly associated with action classes and proven their effectiveness in accurate video feature extraction through the supervised action recognition task. Yet correlation features of the same action would differ across domains due to domain shift. Therefore we propose a novel Adversarial Correlation Adaptation Network (ACAN) to align action videos by aligning pixel correlations. ACAN aims to minimize the distribution of correlation information, termed as Pixel Correlation Discrepancy (PCD). Additionally, video DA research is also limited by the lack of cross-domain video datasets with larger domain shifts. We, therefore, introduce a novel HMDB-ARID dataset with a larger domain shift caused by a larger statistical difference between domains. This dataset is built in an effort to leverage current datasets for dark video classification. Empirical results demonstrate the state-of-the-art performance of our proposed ACAN for both existing and the new video DA datasets.

研究の動機と目的

• 行動認識における有効なドメイン適応手法の不足、特に大きなドメインシフト下での課題に対処すること。
• 空間的・時間的依存関係を捉える相関特徴に起因するドメインシフトの課題を克服すること。
• 低照度やぼやけなどの悪条件によって顕著なドメインシフトを示す、新たな動画データセットHMDB-ARIDを導入し、ドメイン適応手法の評価をより適切に行うこと。
• ソースドメインとターゲットドメイン間の相関特徴の分布を統合的に整列させることで、行動認識モデルの転送性を向上させること。
• 空間的または時間的特徴の整列だけでなく、相関特徴の整列がクロスドメイン動画認識において顕著な性能向上をもたらすことを実証すること。

提案手法

• 敵対的訓練を用いて、ソースドメインとターゲットドメイン間の相関特徴を明示的に整列させるAdversarial Correlation Adaptation Network（ACAN）を提案する。
• 同じ行動のドメイン間における相関特徴の分布差を測定・最小化するための新しい指標、ピクセル相関不一致（PCD）を定義する。
• PCDを、相関特徴マップ（PCM）の共分散として計算し、関数推定を用いて同時分布の差を捉える。
• 計算コストを低減するための簡略化されたバージョン、ACAN（l2-norm）を導入。このバージョンは、PCMのノルムと共有スカラーRとのL2距離を最小化することで実現する。
• 分類損失、空間的時間的特徴のドメイン不一致損失、およびPCDに基づく相関整列損失を組み合わせた、エンドツーエンドの学習フレームワークを採用する。
• 非局所ネットワークを活用して、空間的時間的次元にわたる長距離依存関係をモデル化する相関特徴を抽出する。

実験結果

リサーチクエスチョン

• RQ1 相関特徴の敵対的整列は、行動認識におけるドメイン適応性能を向上させるか？
• RQ2 ピクセル相関不一致（PCD）は、異なる動画ドメイン間の相関特徴におけるドメインシフトを効果的に捉え、最小化できるか？
• RQ3 低照度や低品質の動画を含む、大きなドメインシフトを示すデータセットにおいて、提案されたACAN手法は既存のドメイン適応ベースラインよりも一般化性能に優れているか？
• RQ4 空間的または時間的特徴の整列のみと比較して、相関特徴の整列を組み込むことで得られる性能向上はどの程度か？
• RQ5 ノルムマッチングに基づく簡略化されたPCDバージョン（ACAN l2-norm）は、計算コストを削減しながらも強力な性能を維持できるか？

主な発見

• ACANは、UCF→HMDBおよびHMDB→ARIDのドメイン適応ベンチマークの両方で最先端の性能を達成した。
• アブレーションスタディの結果、PCDを除去するとUCF→HMDBで1.6%、HMDB→ARIDで5.4%の精度低下が生じ、PCDの重要性が裏付けられた。
• ACAN（l2-norm）はACAN-Base（PCDなし）よりも顕著な改善を示したが、完全なPCDベースのACANに比べては低い性能にとどまり、核ベースのPCDの有効性が検証された。
• クラスアクティベーションマップ（CAM）を用いた定性的分析では、ACANは暗いターゲット動画において、例えば手を振るような関連部位に的を絞っているのに対し、ベースラインモデルは背景や全身に注目していることが明らかになった。
• t-SNE可視化により、ACANはソースドメインとターゲットドメインの両方でより密で分離性の高いクラスタを生成しており、ソースとターゲットのデータポイント間の整列が良好であることが確認された。
• 新たに導入されたHMDB-ARIDデータセットは、既存のデータセットよりも大きなドメインシフトを示しており、特に低照度やぼやけなどの悪条件に起因する。今後の動画ドメイン適応研究の強力なベンチマークとして機能する。