[論文レビュー] MotionBERT: A Unified Perspective on Learning Human Motion Representations

Wentao Zhu, Xiaoxuan Ma+4 more|arXiv (Cornell University)|Oct 12, 2022

Human Pose and Action Recognition被引用数 8

ひとこと要約

MotionBERTは、2D骨格シーケンスに損傷を与えたものから3Dモーションを再構築するための自己教師付き事前学習を実施する二重スティーム時空間変換器（DSTformer）を用いて、一般化可能な人間モーション表現を統合的に学習するフレームワークを提案する。このアプローチは、単一の事前学習バックボーンを用いて、3Dポーズ推定、人間メッシュ再構築、アクティビティ認識の各タスクでSOTA性能を達成する。微調整時にシンプルなヘッドを適用することで、多様な人間中心の動画タスクに強く汎用性があり、高い転移性を示している。

ABSTRACT

We present a unified perspective on tackling various human-centric video tasks by learning human motion representations from large-scale and heterogeneous data resources. Specifically, we propose a pretraining stage in which a motion encoder is trained to recover the underlying 3D motion from noisy partial 2D observations. The motion representations acquired in this way incorporate geometric, kinematic, and physical knowledge about human motion, which can be easily transferred to multiple downstream tasks. We implement the motion encoder with a Dual-stream Spatio-temporal Transformer (DSTformer) neural network. It could capture long-range spatio-temporal relationships among the skeletal joints comprehensively and adaptively, exemplified by the lowest 3D pose estimation error so far when trained from scratch. Furthermore, our proposed framework achieves state-of-the-art performance on all three downstream tasks by simply finetuning the pretrained motion encoder with a simple regression head (1-2 layers), which demonstrates the versatility of the learned motion representations. Code and models are available at https://motionbert.github.io/

研究の動機と目的

• 共通のモーション表現を用いて多様な人間中心の動画タスクを統合的に解決するためのフレームワークの開発。
• 3Dモーショングラフ、リアルなRGB動画、ラベル付きアクティビティデータセットといった異種のデータソースを統合し、それらから一般化可能なモーション知識を学習することによる課題の解決。
• 2Dから3Dへのモーション再構築という自己教師付き事前学習タスクを実施することで、下流タスクにおける転移性と性能の向上。
• 骨格関節間の長距離時空間的依存関係を効果的に捉えることのできるユニバーサルなモーションエンコーダーの設計。
• 部分的微調整により複数のタスクに共通の事前学習バックボーンを効率的に活用する多タスク推論の実現。

提案手法

• ノイズが加わり、マスキング処理が施された2D骨格シーケンスから3D人間モーションを再構築する自己教師付き事前学習タスクを用いて、モーションエンコーダーを事前学習。
• 二重スティーム時空間変換器（DSTformer）をモーションエンコーダーとして採用。空間的および時間的アテンションスティームが適応的に統合される。
• 事前学習段階で2D骨格シーケンスに対してランダムなマスキングとノイズ付加を適用し、耐性と一般化性能を向上。
• 高精度な3Dモーショングラフデータと多様なリアルなRGB動画を活用し、モーション表現学習の質を向上。
• 各下流タスクに対して、シンプルな回帰ヘッド（1〜2層の全結合層）を用いて事前学習済みエンコーダーを微調整。
• 事前学習済みエンコーダーを固定し、ヘッドのみを学習する部分的微調整を可能とすることで、効率的なマルチタスク展開を実現。

Figure 1: Framework overview. We utilize a motion encoder to learn human motion representations via recovering 3D human motion from corrupted 2D skeleton sequences. To adapt to different downstream tasks, we finetune the pretrained motion representations with a linear layer or a simple MLP.

実験結果

リサーチクエスチョン

• RQ1 異種の人体モーションデータソース（3Dモーショングラフ、リアルなRGB動画、ラベル付きデータセットなど）から統合的モーション表現を学習可能であり、複数の下流タスクに恩恵をもたらすか？
• RQ2 2Dから3Dへのモーション再構築タスクで事前学習することで、より一般化可能で転移性の高いモーション表現が得られるか？
• RQ3 DSTformerにおけるアーキテクチャ的選択、例えば二重スティームアテンションと統合メカニズムが性能と一般化性に与える影響は？
• RQ4 1つの事前学習済みモーションエンコーダーが、3Dポーズ推定、メッシュ再構築、アクティビティ認識といった多様なタスクでSOTA性能を達成できるか？
• RQ5 事前学習戦略は、スクラッチからの学習やランダム初期化と比較して、下流タスクの性能をどの程度向上させるか？

主な発見

• 2Dから3Dへの再構築を用いた提案された事前学習戦略は、下流タスクの性能を顕著に向上させる：MPJPEはスクラッチ時（50.1mm）からDSTformer＋事前学習時（39.25mm）に低下。
• 事前学習済みモーションエンコーダーは、3Dポーズ推定（MPJPE: 39.25 ±0.27 mm）、メッシュ再構築（MPVE: 80.5 mm）、アクティビティ認識（1ショット精度: 60.7%）の各タスクでSOTA性能を達成。
• 事前学習エンコーダーを固定し、ヘッドのみを微調整する部分的微調整でも、競争力のある結果が得られ、学習済み表現の強力な転移性を示している。
• DSTformerにおける二重スティーム設計（S-T + T-S）は、単一スティームおよび早期統合バージョンを上回る性能を示し、空間的および時間的モデリングの補完的利点を裏付けている。
• 事前学習段階で汚染を導入し、リアルな動画を活用することで、特に多様な下流タスクにおける一般化性能が向上。
• 本手法は異なるバックボーンアーキテクチャにも汎用的であることが確認された：TCNおよびPoseFormerの両方とも、提案された事前学習により恩恵を受ける。

Figure 2: Model architecture. We propose the Dual-stream Spatio-temporal Transformer (DSTformer) as a general backbone for human motion modeling. DSTformer consists of $N$ dual-stream-fusion modules. Each module contains two branches of spatial or temporal MHSA and MLP. The Spatial MHSA models the c