[論文レビュー] Synthetic Human Model Dataset for Skeleton Driven Non-rigid Motion Tracking and 3D Reconstruction

Shafeeq Elanattil, Peyman Moghadam|arXiv (Cornell University)|Jan 1, 2019

Gait Recognition and Analysis参考文献 12被引用数 3

ひとこと要約

本論文では、非剛性3次元人体モーショントラッキングおよび再構築のための合成RGB-Dデータセットを提示する。このデータセットは、1フレームごとの正確な幾何学的形状、スケルトン関節、スキンニングウェイトを備えた7つの高運動量シーケンスを含む。このデータセットにより、詳細なポーズと変形データを備えた現実的な人体モデルを用いたスケルトン駆動型再構築手法の評価が可能になる。

ABSTRACT

We introduce a synthetic dataset for evaluating non-rigid 3D human reconstruction based on conventional RGB-D cameras. The dataset consist of seven motion sequences of a single human model. For each motion sequence per-frame ground truth geometry and ground truth skeleton are given. The dataset also contains skinning weights of the human model. More information about the dataset can be found at: https://research.csiro.au/robotics/our-work/databases/synthetic-human-model-dataset/

研究の動機と目的

• 人体のフレーム間で顕著な非剛性運動を示す公開可能なデータセットの不足に対処すること。
• スケルトン駆動型非剛性3次元再構築アルゴリズムの評価に用いるため、正確な3次元幾何学的形状とスケルトン関節位置を提供すること。
• 正確な運動と変形データを備えた制御された合成環境を提供することで、人体パフォーマンスキャプチャ分野の研究を支援すること。
• スキンニングウェイトが既知の同一人体モデルを用いて、RGB-Dに基づく非剛性再構築手法のベンチマークを標準化すること。

提案手法

• ボクシング、ジャンプ、パンチなどの動的人体動作を含む7つの運動シーケンスの合成的生成。
• 各シーケンスに対して、各フレームごとの世界座標系における正確な3次元メッシュ幾何学的形状の作成。
• 各フレームに対して、カメラ座標系における正確な3次元スケルトン関節位置の生成。
• 人体メッシュモデルの各頂点に対してスキンニングウェイトとボーンインデックス情報の統合。
• 一貫したカメラパラメータと外挿アライメントを備えたRGBおよび深度画像の合成。
• 再構築パイプラインへの容易な統合を可能にするために、世界座標からカメラ座標への変換行列と構造化されたファイル構成の提供。

実験結果

リサーチクエスチョン

• RQ1 非剛性3次元人体再構築評価のため、高非剛性運動を有する合成データセットを効果的に生成する方法は何か？
• RQ2 地面真理のスケルトン関節位置が、スケルトン駆動型非剛性3次元再構築の精度を向上させる役割を果たす理由は何か？
• RQ3 スキンニングウェイトの組み込みが、非剛性モーショントラッキングアルゴリズムの性能にどの程度寄与するか？
• RQ4 正確な地面真理の幾何学的形状とポーズを備えた制御された合成データセット上で、既存のRGB-D再構築手法はどの程度の性能を示すか？
• RQ5 スキンニングウェイトが既知の同一人体モデルを用いることで、異なる再構築アルゴリズム間でのベンチマークの標準化が可能になるか？

主な発見

• データセットには、『ボクシング』（245フレーム）と『パンチストライク』（250フレーム）を含む、フレーム間で顕著な非剛性運動を示す7つの運動シーケンスが含まれる。これらのシーケンスでは顕著な関節変位が観察される。
• シーケンス全体における平均関節運動は、『パンチストライク』で0.084 m、『ジャンプバランス』で2.605 mの範囲を示しており、顕著な変形と動的運動が確認される。
• 地面真理の3次元メッシュは、すべてのシーケンスで利用可能なPLY形式で世界座標系に保存されている。
• 地面真理のスケルトン関節位置は、カメラ座標系のCSV形式で保存されており、ポーズ推定パイプラインへの直接利用が可能である。
• 人体モデルは17,021個の頂点と31,492個の面から構成され、14本のボーンを持つスケルトンであり、各頂点のスキンニングウェイトはlabels.csvおよびweights.csvに保存されている。
• データセットには、同期されたRGBおよび深度画像、外挿カメラパラメータ、各シーケンスごとの世界座標からカメラ座標への変換行列が含まれている。