[論文レビュー] HUMBI 1.0: HUman Multiview Behavioral Imaging Dataset.

Zhixuan Yu, Jae Shin Yoon+4 more|arXiv (Cornell University)|Dec 1, 2018

Human Pose and Action Recognition参考文献 41被引用数 7

ひとこと要約

HUMBI 1.0 は、772名の多様なデモグラフィーを持つ被験者を、107台の同期化されたHDカメラを用いて捉えた大規模かつマルチビューのデータセットであり、視線、顔、手、身体、衣類を含む高精細な3次元人体表現の再構築を可能にする。このデータセットは、3次元メッシュ再構築に基づく標準化アトラス表現を用いて、視点別外観および幾何学的モデリングを支援し、従来の視点数が限られ、被験者多様性に欠けるデータセットに比べて顕著な前進を遂げている。

ABSTRACT

This paper presents a new large multiview dataset called HUMBI for human body expressions with natural clothing. The goal of HUMBI is to facilitate modeling view-specific appearance and geometry of gaze, face, hand, body, and garment from assorted people. 107 synchronized HD cameras are used to capture 772 distinctive subjects across gender, ethnicity, age, and physical condition. With the multiview image streams, we reconstruct high fidelity body expressions using 3D mesh models, which allows representing view-specific appearance using their canonical atlas. We demonstrate that HUMBI is highly effective in learning and reconstructing a complete human model and is complementary to the existing datasets of human body expressions with limited views and subjects such as MPII-Gaze, Multi-PIE, Human3.6M, and Panoptic Studio datasets.

研究の動機と目的

• 自然な衣類を着た完全な人体表現を、視点数が限られ、被験者多様性に欠ける既存のデータセットに比べて、大規模かつ多様性に富んだマルチビューで捉えることの不足を補う。
• 視線、顔、手、身体、衣類の視点別外観および幾何学的モデリングを正確に実現すること。
• 同期化されたマルチビュー動画ストリームを用いて、高精細な3次元人体の動きと形状の再構築を可能にすること。
• MPII-Gaze、Multi-PIE、Human3.6M、Panoptic Studio といった既存のデータセット（視点数と被験者多様性に制限がある）と補完的であるリソースを提供すること。

提案手法

• 107台のカメラから得られる同期化されたHD動画ストリームを用いて、被験者の人体を高密度なマルチビューで捉える。
• マルチビュー動画データから高精細な3次元メッシュモデルを再構築する。
• 標準化アトラス表現に視点別外観を投影することで、複数視点にわたる一貫性のあるテクスチャマッピングを実現する。
• 3次元メッシュモデルを用いて、顔の表情、手の動き、衣類の動きを含む人体表現の詳細な分析を可能にする。
• 772名の異なる被験者に対して、性別、人種、年齢、身体的状態の多様性を確保する。
• マルチビュー幾何学を活用して、3次元再構築の精度と視点別外観モデリングの質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 772名の多様な被験者を107台のカメラで捉えた大規模かつマルチビューのデータセットは、従来の視点数が限られたデータセットと比較して、3次元人体表現モデリングの忠実度を向上させることができるか？
• RQ2 3次元メッシュモデル上に標準化アトラスを用いることで、視線、顔、手、身体、衣類の視点別外観および幾何学的表現は、どの程度効果的に捉えられ、再現可能か？
• RQ3 自然な衣類と多様なデモグラフィーの組み合わせが、人体モデリングシステムの一般化性能をどの程度向上させるか？
• RQ4 MPII-Gaze、Multi-PIE、Human3.6M、Panoptic Studio といった既存の代表的データセットと比較して、HUMBI 1.0 は実用性および代表性において優れているか？

主な発見

• HUMBI 1.0 は、107台の同期化されたHDカメラを用いて、772名の異なる被験者を多様なデモグラフィーにわたって捉えており、従来のデータセットと比較して被験者数および視点数の多様性が顕著に向上している。
• マルチビューのデータから高精細な3次元メッシュモデルが成功裏に再構築され、人体表現および幾何学的形状の正確な再現が可能となった。
• 3次元メッシュ上の標準化アトラス投影を用いて、視点別外観が効果的にモデリングされ、一貫性のあるテクスチャおよび視点依存レンダリングが実現された。
• このデータセットは、完全な人体モデルの学習および再構築を向上させることができ、視点数と被験者数に制限がある既存のデータセットと補完的であることが示された。
• 自然な衣類を着た状態での視線、顔、手、身体、衣類の動きの詳細なモデリングが可能となり、現在のデータセットに欠けている重要なギャップを埋めることができた。
• マルチビュー構成により、高信頼性な3次元再構築と視点依存分析が可能となり、将来的な人体の動きおよび行動モデリングの応用分野における可能性が拡大された。