[論文レビュー] 3D human pose estimation in video with temporal convolutions and semi-supervised training

Dario Pavllo, Christoph Feichtenhofer+2 more|arXiv (Cornell University)|Nov 28, 2018

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、2次元キーポints軌跡に拡張時間畳み込みを用いた、完全畳み込み型3次元人体ポーズ推定モデルを提案する。Human3.6Mにおいて、先行研究と比較して平均1関節位置誤差（MPJPE）が6 mm低減され（相対的に11%の改善）、性能を向上させた。さらに、ラベルなし動画を活用して3次元ポーズを予測し、2次元に戻すことで一貫性を確保する「バックプロジェクション」という半教師あり学習手法を導入した。ラベル付きデータが限られる状況でも、誤差を最大14.7 mm低減できる。

ABSTRACT

In this work, we demonstrate that 3D poses in video can be effectively estimated with a fully convolutional model based on dilated temporal convolutions over 2D keypoints. We also introduce back-projection, a simple and effective semi-supervised training method that leverages unlabeled video data. We start with predicted 2D keypoints for unlabeled video, then estimate 3D poses and finally back-project to the input 2D keypoints. In the supervised setting, our fully-convolutional model outperforms the previous best result from the literature by 6 mm mean per-joint position error on Human3.6M, corresponding to an error reduction of 11%, and the model also shows significant improvements on HumanEva-I. Moreover, experiments with back-projection show that it comfortably outperforms previous state-of-the-art results in semi-supervised settings where labeled data is scarce. Code and models are available at https://github.com/facebookresearch/VideoPose3D

研究の動機と目的

• 動画における3次元人体ポーズ推定を、再帰型モデルよりもより効果的に時間的文脈を活用することで向上させること。
• 3次元ポーズラベルの不足を補うために、2次元の真値やマルチビュー情報が不要な、ラベルなし動画を活用する半教師あり手法を導入すること。
• 精度と効率の両立を図るモデルを構築し、RNNベースのアプローチと比較して並列処理が可能で、計算複雑度を低減すること。
• バックプロジェクション（サイクル一貫性にインspiredされた手法）が、ラベル付きデータが限られる状況で一般化性能を向上させることを実証すること。

提案手法

• 2次元キーポイント軌跡の長距離依存性をモデル化するために、拡張時間畳み込みを用いた完全畳み込みアーキテクチャを採用する。
• 拡張畳み込みを適用することで、計算コストを低く抑えながら広い受容 field を実現し、長時間系列の効率的モデリングを可能にする。
• バックプロジェクションを導入：2次元キーポイントから3次元ポーズを予測し、それを再び2次元に投影することで一貫性損失を形成する半教師あり学習スキーム。
• 骨長の正則化項を組み込み、バックプロジェクション中に運動学的整合性を保ち、ポーズの妥当性を向上させる。
• ラベル付きデータに対する教師あり損失と、バックプロジェクションによるラベルなし動画からの一貫性損失を組み合わせてモデルを学習する。
• バックプロジェクション段階では、外挿パラメータや2次元真値の必要がない、カメラの内部パrameterのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 拡張時間畳み込みを用いた完全畳み込み型モデルは、RNNベースのモデルよりも動画における3次元人体ポーズ推定で優れた性能を示せるか？
• RQ2 サイクル一貫性に基づく半教師あり手法「バックプロジェクション」は、ラベル付きデータが限られる状況で3次元ポーズ推定を効果的に改善できるか？
• RQ3 ラベル付きデータの量が減少するに従って、提案手法の性能はどのように変化するか。特にリソースが限られた環境下でのスケーリング特性は？
• RQ4 骨長の正則化によって運動学的制約を強制することで、半教師あり学習における一般化性能はどの程度向上するか？

主な発見

• 提案された完全畳み込み型モデルは、Human3.6Mデータセットにおいて平均1関節位置誤差（MPJPE）を6 mm低減（53.1 mm → 47.1 mm）し、先行研究比で相対的に11%の改善を達成した。
• HumanEva-Iでも先行手法を上回り、Human3.6Mベンチマークを越えた一般化性能を示した。
• ラベル付きフレームが5,000枚未満の半教師あり設定では、強力な教師ありベースラインと比較して、誤差を最大14.7 mm低減した。
• 真値2次元キーポイントを用いて学習した場合、S1の1%データで半教師あり手法が教師ありベースライン比で最大22.6 mmのMPJPE改善を達成した。これは、より優れた2次元キーポイント検出器の潜在的効果を示している。
• バックプロジェクションで骨長正則化項を除去すると、S1の1%で誤差が78.1 mmから91.3 mmに上昇した。これは、ポーズ妥当性を維持するためにこの項が極めて重要であることを示している。
• 1枚のGPU上で推論速度が約150k FPSに達し、バッチサイズに依存しない並列時間処理により、RNNベースのモデルに比べて効率性に優れた。