[論文レビュー] PSUMNet: Unified Modality Part Streams are All You Need for Efficient Pose-based Action Recognition

Neel Trivedi, Ravi Kiran Sarvadevabhatla|arXiv (Cornell University)|Aug 11, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

PSUMNetは、効率的なポーズベースの行動認識のための統合的モダリティ・パートストリームアーキテクチャを導入し、従来の独立したモダリティストリームに代わって局所的ダイナミクス（例：『サインアップ』では手、『キック』では脚）を捉える部分ベースの処理を採用している。PSUMNetは、NTU RGB+D 60/120およびNTU-Xデータセットにおいて、先行手法と比較して100%〜400%少ないパラメータで最先端の精度を達成し、エッジデバイスへの効率的なデプロイが可能である。

ABSTRACT

Pose-based action recognition is predominantly tackled by approaches which treat the input skeleton in a monolithic fashion, i.e. joints in the pose tree are processed as a whole. However, such approaches ignore the fact that action categories are often characterized by localized action dynamics involving only small subsets of part joint groups involving hands (e.g. `Thumbs up') or legs (e.g. `Kicking'). Although part-grouping based approaches exist, each part group is not considered within the global pose frame, causing such methods to fall short. Further, conventional approaches employ independent modality streams (e.g. joint, bone, joint velocity, bone velocity) and train their network multiple times on these streams, which massively increases the number of training parameters. To address these issues, we introduce PSUMNet, a novel approach for scalable and efficient pose-based action recognition. At the representation level, we propose a global frame based part stream approach as opposed to conventional modality based streams. Within each part stream, the associated data from multiple modalities is unified and consumed by the processing pipeline. Experimentally, PSUMNet achieves state of the art performance on the widely used NTURGB+D 60/120 dataset and dense joint skeleton dataset NTU 60-X/120-X. PSUMNet is highly efficient and outperforms competing methods which use 100%-400% more parameters. PSUMNet also generalizes to the SHREC hand gesture dataset with competitive performance. Overall, PSUMNet's scalability, performance and efficiency makes it an attractive choice for action recognition and for deployment on compute-restricted embedded and edge devices. Code and pretrained models can be accessed at https://github.com/skelemoa/psumnet

研究の動機と目的

• スケルトンを全体として扱う従来のポーズベースの行動認識手法の非効率性とモノリシックな処理を解消すること。
• 独立したモダリティストリームの限界を克服し、パラメータ数の増加とモダリティ間相関の無視を回避すること。
• 特定の関節群（例：手、脚）に支配される行動の性能を向上させるために、部分ベースのストリーム処理を導入すること。
• 密度の高い（NTU-X）および疎な（SHREC）データセットを含む、多様なスケルトン構成へのスケーラビリティを実現すること。
• 計算制約のあるエッジおよび埋め込みデバイスへの実世界でのデプロイに適した軽量で効率的なアーキテクチャの開発

提案手法

• 複数のモダリティ（関節、ボーン、関節速度、ボーン速度）を個別のストリームではなく、各パートストリーム内で統合する統合的モダリティ処理パイプラインを提案する。
• ボディ、手、脚の部分ベースのストリームを導入し、全ポーズの部分スケルトンをグローバルフレームの参照基準で処理することで、局所的で文脈に配慮した表現を可能にする。
• ストリーム間で関節グループを重複させて、グローバルな運動伝播を保持すると同時に、局所的行動の専用処理を可能にする。
• 各パートストリームに共有バックボーンネットワークを用い、入力レベルでのモダリティ統合により、独立したストリーム学習と比較してパラメータ数を削減する。
• パートストリームの予測を遅延統合することで、各ストリームのモデル複雑度を増加させずに、専用表現を統合する。
• 全関節数が異なるデータセット（フルボディのNTURGB+D、密度の高いNTU-X、疎なSHREC）に対応できるように、スケーラブルなアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 統合的モダリティ処理戦略は、パラメータ数を削減しながらも、ポーズベースの行動認識の性能を維持または向上させることができるか？
• RQ2 部分ベースのストリーム処理は、モノリシックまたは分離された部分処理に比べて、局所的行動ダイナミクスをより効果的に捉えることができるか？
• RQ3 提案手法は、関節密度や構成が異なる多様なスケルトンデータセットに一般化できるか？
• RQ4 各パートストリーム内でモダリティを統合的に処理することで、モダリティ間相関が性能向上にどの程度寄与するか？
• RQ5 提案手法は、従来のマルチストリームアプローチと比較して、顕著に少ないパラメータ数で最先端の精度を達成できるか？

主な発見

• PSUMNetはNTU60のクロスサブジェクトスプリットで92.9%の精度を達成し、NTU120では89.4%を記録。先行手法と比較して100%〜400%少ないパラメータで性能を上回った。
• ボディストリーム単体でNTU60で91.9%の精度を達成し、ボディ＋ハンドストリームの組み合わせでは92.4%にまで向上。専用の部分ストリームの利点を示した。
• レッグストリームはNTU60で60.4%の精度を達成しており、脚の動きが支配的な行動が頻度が低くても、効果的に捉えられていることを示している。
• PSUMNetはCTR-GCNを上回り、シーケンスの30%〜50%しか観測されていない初期行動認識でも、高い精度を維持した。
• アブレーションスタディの結果、関節とボーンモダリティが性能向上に最も寄与しており、4つのモダリティをすべて使用した場合が最良の結果を示した。
• 統合的モダリティアプローチにより、独立したストリーム学習と比較してパラメータ数を顕著に削減でき、PSUMNetは4つのモダリティを統合しているにもかかわらず、わずか280万パラメータで運用された。