[論文レビュー] A Spatial-temporal 3D Human Pose Reconstruction Framework

Xuan Nguyen, Thi Duyen Ngo+1 more|arXiv (Cornell University)|Jan 8, 2019

Human Pose and Action Recognition参考文献 11被引用数 4

ひとこと要約

本稿では、2次元ポーズ系列におけるフレーム内およびフレーム間相関を、直交一致 Pursuit (OMP)、事前学習済みのポーズ・アングル制限、および時間的モデリングを用いて活用する空間的・時間的3次元人体ポーズ再構成フレームワークを提案する。CMU Mocapおよびベトナム伝統ダンスデータセットにおいて、10%低いユークリッド再構成誤差と、ガウスノイズに対してより高い耐性を示し、最先端の手法と比較して滑らかでより自然な3次元ポーズ系列を実現する。

ABSTRACT

3D human pose reconstruction from single-view camera is a difficult and challenging topic. Many approaches have been proposed, but almost focusing on frame-by-frame independently while inter-frames are highly correlated in a pose sequence. In contrast, we introduce a novel spatial-temporal 3D reconstruction framework that leverages both intra and inter frame relationships in consecutive 2D pose sequences. Orthogonal Matching Pursuit (OMP) algorithm, pre-trained Pose-angle Limits and Temporal Models have been implemented. We quantitatively compare our framework versus recent works on CMU motion capture dataset and Vietnamese traditional dance sequences. Our method outperforms others with 10 percent lower of Euclidean reconstruction error and robustness against Gaussian noise. Additionally, it is also important to mention that our reconstructed 3D pose sequences are smoother and more natural than others.

研究の動機と目的

• 単一視点からの2次元ポーズから3次元人体ポーズを再構成する課題に取り組む。これは、フレームごとに独立して扱う傾向があるが、強い時間的相関が存在するためである。
• フレーム内での空間的関係と連続フレーム間の時間的依存関係をモデル化することで、再構成精度と時間的滑らかさを向上させる。
• ノイズに対する耐性を高め、より自然で現実的な3次元ポーズ系列を生成する。
• 統一されたフレームワークを通じて空間的および時間的事前知識を統合することで、従来のフレームごとの手法を上回る性能を達成する。

提案手法

• 学習済みのポーズ構成の辞書から最適な基底ベクトルを選択することで、Orthogonal Matching Pursuit (OMP) を用いて3次元ポーズを再構成する。
• 各フレーム内の解剖学的に妥当な関節配置を制約するため、事前学習済みのポーズ・アングル制限を空間的制約として組み込む。
• 連続する2次元ポーズ系列間の逐次的依存関係を活用する時間的モデルを適用し、時間的整合性を向上させる。
• 空間的および時間的事前知識を統合した最適化フレームワークを構築し、時間的にわたる3次元ポーズ推定値を同時に最適化する。
• 空間的整合性の強化と時間的スムージングを交互に繰り返すマルチステージの最適化プロセスを採用する。
• 訓練および評価に、CMU Mocapデータセットと独自に収集したベトナム伝統ダンスのシーケンスを用いる。

実験結果

リサーチクエスチョン

• RQ1 連続する2次元ポーズフレーム間の時間的依存関係を統合することで、フレーム独立な手法と比較して3次元再構成精度が向上するか？
• RQ2 解剖学的に妥当なポーズ・アングル制限の統合が、再構成品質および安定性に与える影響は何か？
• RQ3 提案フレームワークは、ベンチマークデータセットにおいてユークリッド再構成誤差をどの程度低減するか？
• RQ4 特にガウスノイズが加わった状況下で、本手法はどのように性能を示すか？
• RQ5 既存の最先端手法と比較して、本フレームワークは滑らかでより自然な3次元ポーズ系列を生成するか？

主な発見

• 提案フレームワークは、CMU Mocapデータセットにおいて、最近の最先端手法と比較して平均ユークリッド再構成誤差を10%低減した。
• ガウスノイズに対して優れた耐性を示し、ノイズの加わった2次元ポーズ入力に対しても低い誤差率を維持した。
• 再構成された3次元ポーズ系列は、競合手法と比較して顕著に滑らかで時間的整合性が高かった。
• ポーズ・アングル制限と時間的モデリングの統合により、より解剖学的に妥当な3次元ポーズが得られた。
• 複雑なシーケンスを含む多様な運動スタイルにも、良好な一般化性能を示した。
• 定量的評価により、ベンチマークおよび独自データセットの両方で一貫した性能向上が確認された。