[論文レビュー] Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition

Binqian Xu, Xiangbo Shu|arXiv (Cornell University)|Feb 5, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、空間的および時間的特徴をSpatiotemporal-decoupling Intra-Inter Attention (SIIA) メカニズムを用いて分離する新しい半教師あり骨格ベースの行動認識フレームワーク、Spatiotemporal Decouple-and-Squeeze Contrastive Learning (SDS-CL) を提案する。SDS-CL は、空間的圧縮、時間的圧縮、およびグローバル特徴を別々に対照する3つの専用の対照的損失関数を用いて、空間的・時間的特徴を統合的に対照する。SDS-CL は、4つの公開データセットにおいて最先端の性能を達成し、線形評価下で NTU RGB+D で 73.6%、微調整下で 91.9%/97.2% の正確度を示し、空間的・時間的特徴の明示的保持によって表現学習の向上を実現した。

ABSTRACT

Contrastive learning has been successfully leveraged to learn action representations for addressing the problem of semi-supervised skeleton-based action recognition. However, most contrastive learning-based methods only contrast global features mixing spatiotemporal information, which confuses the spatial- and temporal-specific information reflecting different semantic at the frame level and joint level. Thus, we propose a novel Spatiotemporal Decouple-and-Squeeze Contrastive Learning (SDS-CL) framework to comprehensively learn more abundant representations of skeleton-based actions by jointly contrasting spatial-squeezing features, temporal-squeezing features, and global features. In SDS-CL, we design a new Spatiotemporal-decoupling Intra-Inter Attention (SIIA) mechanism to obtain the spatiotemporal-decoupling attentive features for capturing spatiotemporal specific information by calculating spatial- and temporal-decoupling intra-attention maps among joint/motion features, as well as spatial- and temporal-decoupling inter-attention maps between joint and motion features. Moreover, we present a new Spatial-squeezing Temporal-contrasting Loss (STL), a new Temporal-squeezing Spatial-contrasting Loss (TSL), and the Global-contrasting Loss (GL) to contrast the spatial-squeezing joint and motion features at the frame level, temporal-squeezing joint and motion features at the joint level, as well as global joint and motion features at the skeleton level. Extensive experimental results on four public datasets show that the proposed SDS-CL achieves performance gains compared with other competitive methods.

研究の動機と目的

• 既存の対照的学習手法が、グローバル特徴に空間的および時間的情報を混合するため、フレームレベルおよびジョイントレベルの意味を混同するという限界に対処すること。
• 空間特徴固有および時間特徴固有の特徴を明示的に捉え、対照することで、半教師あり設定における表現学習を向上させること。
• 空間的圧縮、時間的圧縮、およびグローバル表現を統合的に最適化する新しいアテンションおよび対照的損失機構を用いて、統一されたフレームワークを設計すること。
• 3Dおよび2D骨格データセット、特に Kinetics-Skeleton のような挑戦的なベンチマークにおいて、空間的・時間的分離の有効性を検証すること。

提案手法

• ジョイントおよびモーション特徴間で空間的・時間的分離された内部アテンションマップと、それらの間の相互アテンションマップを計算する、Spatiotemporal-decoupling Intra-Inter Attention (SIIA) メカニズムを提案する。
• フレームレベルでジョイントおよびモーションモダリティ間の空間的圧縮特徴を対照するための Spatial-squeezing Temporal-contrasting Loss (STL) を導入する。
• ジョイントレベルでジョイントおよびモーションモダリティ間の時間的圧縮特徴を対照するための Temporal-squeezing Spatial-contrasting Loss (TSL) を導入する。
• スケルトンレベルでグローバル特徴を対照するための Global-contrasting Loss (GL) を導入し、全体の行動表現を保持する。
• STL, TSL, GL の3つの対照的損失関数を併用して、ペaired でないまたは弱いラベルが付与された骨格シーケンス上で自己教師あり学習を実行する。
• NTU RGB+D や Kinetics-Skeleton を含む複数のデータセットで、pretrain + linear evaluation および pretrain + fine-tune プロトコルを適用する。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的表現の分離は、半教師あり骨格ベースの行動認識を向上させることができるか？
• RQ2 フレームレベルでの空間的圧縮特徴とジョイントレベルでの時間的圧縮特徴の対照は、グローバル特徴のみの対照的学習よりも優れた表現学習をもたらすか？
• RQ3 提案された Spatiotemporal-decoupling Intra-Inter Attention (SIIA) メカニズムは、モダリティ固有の空間的・時間的ダイナミクスを効果的に捉えられるか？
• RQ4 SDS-CL フレームワークは2D骨格シーケンスに一般化可能であり、Kinetics-Skeleton のような大規模データセットで競争力のある性能を達成できるか？
• RQ5 複数の対照信号（空間的、時間的、グローバル）を統合的に最適化することは、単一または二重対照的アプローチよりも優れた性能をもたらすか？

主な発見

• pretrain + linear evaluation プロトコル下で、NTU RGB+D において SDS-CL は 73.6% の正確度を達成し、CrosSCLR (72.9%/79.9%) や 3s-Colorization (88.0%/94.9%) よりも優れた性能を示した。
• pretrain + fine-tune プロトコル下で、3s-SDS-CL は NTU RGB+D で 91.9% および 97.2% の正確度を達成し、CS および CV スプリットでそれぞれ 3s-Colorization (88.0%/94.9%) よりも 3.9 および 2.3 パーセンテージポイント高い性能を示した。
• Kinetics-Skeleton データセットでは、SDS-CL は 37.3% の正確度を達成し、GCN-NAS (37.1%) を上回り、2D骨格シーケンスへの一般化能力が強いことを示した。
• アブレーションスタディにより、STL, TSL, GL 損失関数の組み合わせが一貫した性能向上をもたらし、各損失関数が表現学習に独自に寄与することが確認された。
• SIIA メカニズムは、細かく空間的（例：『両手をこすり合わせる』）または時間的（例：『座り込む』）な区別を要する行動において、性能向上を示すことで、モダリティ固有の空間的・時間的依存性を効果的に捉えていることが裏付けられた。
• フレームワークはデータモダリティに強く、ジョイント、モーション、ボーン特徴のすべてで良好に動作し、3Dおよび2D骨格入力間で強力な転送性を示した。