[論文レビュー] Live Stream Temporally Embedded 3D Human Body Pose and Shape Estimation

Zhouping Wang, Sarah Ostadabbas|arXiv (Cornell University)|Jul 25, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

TePoseは、過去の予測をフィードバックとして活用することで、時間的整合性と正確性を向上させる、ライブストリーム動画向けの時系列埋め込み型3次元人体ポーズおよび形状推定フレームワークを提案する。マルチスケール時空間的グラフ畳み込みネットワークを敵対的学習に統合し、順次データロード戦略を採用することで、長時間入力シーケンスへの依存を低減しつつ、安定性と最先端の性能を達成した。

ABSTRACT

3D Human body pose and shape estimation within a temporal sequence can be quite critical for understanding human behavior. Despite the significant progress in human pose estimation in the recent years, which are often based on single images or videos, human motion estimation on live stream videos is still a rarely-touched area considering its special requirements for real-time output and temporal consistency. To address this problem, we present a temporally embedded 3D human body pose and shape estimation (TePose) method to improve the accuracy and temporal consistency of pose estimation in live stream videos. TePose uses previous predictions as a bridge to feedback the error for better estimation in the current frame and to learn the correspondence between data frames and predictions in the history. A multi-scale spatio-temporal graph convolutional network is presented as the motion discriminator for adversarial training using datasets without any 3D labeling. We propose a sequential data loading strategy to meet the special start-to-end data processing requirement of live stream. We demonstrate the importance of each proposed module with extensive experiments. The results show the effectiveness of TePose on widely-used human pose benchmarks with state-of-the-art performance.

研究の動機と目的

• ライブストリーム動画におけるリアルタイム3次元人体ポーズおよび形状推定における時間的整合性の欠如を解消すること。
• 過去の予測を時間的フィードバックのブリッジとして活用することで、推定の正確性を向上させること。
• グラフ畳み込みネットワークに基づくモーションディスクラミネーターを用いて、3次元真値の監督なしに効果的な学習を可能とすること。
• 訓練中に真値メッシュパラメータと予測値を混合する順次データロード戦略を設計し、収束を促進すること。
• 従来の動画ベースモデルと比較して、長時間入力シーケンスへの依存を低減するために、過去のフレームからの埋め込み時系列情報を活用すること。

提案手法

• TePoseは、現在の動画フレームと、前フレームの予測されたSMPLパラメータを組み合わせた時系列埋め込みエンコーダーを用い、現在のフレームの推定に活用する。
• マルチスケール時空間的グラフ畳み込みネットワーク（GCN）が、実際の人間の動きシーケンスと生成されたシーケンスを区別するモーションディスクラミネーターとして機能し、3次元ラベルなしで敵対的学習を可能にする。
• 訓練中に真値メッシュパラメータと予測値を混合する順次データロード戦略を採用し、理想的な初期状態から始めることで収束を促進する。
• モデルは、静的特徴と過去の予測の系列における長距離依存関係を捉えるために、双方向GRUベースの時系列エンコーダーを採用する。
• 予測されたメッシュパラメータを監督するためのSMPL損失と、GCNからの敵対的損失を組み合わせ、動きシーケンスの現実性を向上させる。
• フレームワークは、MPI-INF-3DHP、Human3.6M、InstaVarietyなどのデータセットで学習され、Moshからの疑似-SMPLラベルを監督として用いる。

実験結果

リサーチクエスチョン

• RQ1 過去のポーズおよび形状予測は、ライブストリーム動画における3次元人体推定の時間的整合性と正確性を向上させることができるか？
• RQ2 グラフ畳み込みネットワークに基づくモーションディスクラミネーターは、3次元監督なしに敵対的学習を有効に可能にするか？
• RQ3 真値と予測値を混合した順次データロード戦略は、時系列埋め込みフレームワークにおける訓練の安定化に効果的か？
• RQ4 提案手法は、従来の動画ベースモデルと比較して、長時間入力シーケンスへの依存をどの程度低減できるか？
• RQ5 現在のフレームと未来のフレームのみを用いる手法と比較して、過去の予測からの時間的フィードバック統合は、どのように優れているか？

主な発見

• TePoseは、Human3.6MテストセットでPA-MPJPEが41.2 mmを達成し、正確性と時間的整合性の両面で、従来の最先端手法を上回った。
• アブレーションスタディの結果、提案されたすべてのモジュール—時系列埋め込みエンコーダー、順次データロード、敵対的学習—が性能向上に顕著な寄与をしていることが確認された。
• フレームベースのベースラインと比較して、加速度誤差を2.8%低減し、時間的安定性の向上を示した。
• 6フレームの入力のみで、16フレーム以上を必要とする手法を上回る性能を達成したため、遅延と計算コストの低減が実現された。
• 3DPWおよびMPI-INF-3DHPでの定性的比較では、VIBEやTCMRと比較して、TePoseはより安定的かつ正確なポーズ推定を実現した。
• GCNベースのディスクラミネーターを用いた敵対的学習により、野外データにおいても3次元真値がなくても動きの現実性が向上した。