[論文レビュー] Polarization Human Shape and Pose Dataset

Shihao Zou, Xinxin Zuo+6 more|arXiv (Cornell University)|Apr 30, 2020

Optical measurement and interference techniques参考文献 5被引用数 6

ひとこと要約

本稿では、12名の被験者が多様な身体的動作を実行する様子を、同期された偏光、カラー、深度画像で捉えた新規マルチビュー・データセット、Polarization Human Shape and Pose Dataset (PHSPD) を紹介する。著者らは、SMPLフィッティングと点群の最適化を用いる低コストで効果的な3次元人体形状およびポーズのアノテーションパイプラインを提案し、モーションキャプチャスーツや特別な衣装を用いずに正確な3次元人体再構築を実現した。学術的利用を目的として、合計282,112フレームのアノテーションデータが提供される。

ABSTRACT

Polarization images are known to be able to capture polarized reflected lights that preserve rich geometric cues of an object, which has motivated its recent applications in reconstructing detailed surface normal of the objects of interest. Meanwhile, inspired by the recent breakthroughs in human shape estimation from a single color image, we attempt to investigate the new question of whether the geometric cues from polarization camera could be leveraged in estimating detailed human body shapes. This has led to the curation of Polarization Human Shape and Pose Dataset (PHSPD), our home-grown polarization image dataset of various human shapes and poses.

研究の動機と目的

• 高価なモーションキャプチャシステムの代替として、低コストで実用的な3次元人体形状およびポーズのアノテーション手法を開発すること。
• 偏光画像が人体再構築のための幾何的ヒントをどれほど効果的に提供できるかを検証すること。
• 同期された偏光、カラー、深度データを備えた大規模かつ公開可能なデータセットを構築し、3次元人体分析に活用すること。
• 特別な衣装やセンサーを用いずに、標準のRGB-Dカメラと偏光カメラのみで正確な3次元人体形状およびポーズ推定を実現すること。
• 偏光の特徴を活用して表面法線および形状推定を向上させるモデルの学習基盤を提供すること。

提案手法

• ソケット通信によるソフトウェア同期プロトコルを用い、1台の偏光カメラと3台のKinect v2カメラ（それぞれカラーと深度を有する）を同期し、最大15 fpsを達成する。
• OpenPoseとKinectの検出結果を統合して初期3次元関節位置を推定し、関節の一貫性を検証するため50ピクセルの閾値を適用する。
• 初期3次元ポーズ推定にSMPLモデルをフィッティングし、形状（β ∈ ℝ¹⁰）およびポーズ（θ ∈ ℝ⁷²）パラメータを3次元メッシュ（6890頂点）にマップする微分可能関数を用いる。
• メッシュ頂点と3次元人体表面点群の最近接点との距離を最小化することで、SMPL形状の反復的最適化を実施し、適合精度を向上させる。
• ノイズが存在する中でも、マルチビュー深度データから前景マスクを生成し、表面法線を推定する。この処理は法線予測タスクを支援する。
• 長時間のシーケンスを1061の動きクリップに分割し、12種類の粗い分類と34種類の細かい行動分類に分類して、行動認識評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 偏光画像は、3次元人体形状およびポーズ推定の向上に十分な幾何的ヒントを提供できるか？
• RQ2 標準のRGB-Dカメラと偏光カメラを用いた低コストで非侵襲的なセットアップが、モーションキャプチャスーツやマーカーを用いずに正確な3次元人体アノテーションを達成できるか？
• RQ3 マルチビューからのデータに対して、SMPLフィッティングと点群の最適化を組み合わせた手法が、3次元人体モデルを実際の被験者にどれほど正確に適合できるか？
• RQ4 提案されたアノテーションパイプラインは、多様な身体ポーズや動作に対して一貫性があり、高精度な3次元形状およびポーズアノテーションを生成できるか？
• RQ5 本データセットで学習されたモデルは、偏光およびマルチビュー情報を利用した表面法線および人体ポーズ予測において、どの程度の性能を示すか？

主な発見

• 12名の被験者（男性9名、女性3名）が4回繰り返し、合計18の異なる行動を実行した結果、282,112フレームのアノテーションデータが得られた。加えて、自由なスタイルのシーケンスも含まれる。
• マルチビューのKinectデータを統合し、3次元点群に対してSMPLパラメータを最適化することで、骨格のみのフィッティングに比べて適合誤差を低減し、高い正確性を達成した。
• 最大15 fpsでリアルタイムの同期が実現され、時間的ジターミニマルなずれが確認された。これは、4台のカメラビューで落下するバッグの追跡によって検証された。
• 12種類の粗い分類と34種類の細かい行動分類に分類された1061の動きクリップが含まれており、行動認識および人体運動モデリングの評価が可能である。
• 深度に基づく法線推定にノイズが存在するにもかかわらず、本データセットで学習された最終モデルは滑らかで正確な表面法線マップを予測する能力を習得した。
• 本データセットは学術的利用に限定して公開されており、Human3.6Mのようなモーションキャプチャベースのデータセットに代わるスケーラブルで低コストな代替手段を提供する。