[論文レビュー] Deep Textured 3D Reconstruction of Human Bodies

Abbhinav Venkat, Sai Sagar Jinka+1 more|arXiv (Cornell University)|Sep 18, 2018

Advanced Vision and Imaging被引用数 10

ひとこと要約

本論文は、RGBと深度（RGB/D）入力を用いて、ボリュメトリックな形状予測と直角投影テクスチャ合成を活用することで、テクスチャ付き人体の1枚画像からの3次元再構成のためのディープラーニングフレームワークを提案する。マルチビューRGB/Dデータから深度と形状を同時に学習することで、合成データおよび実世界データの両方で優れた再構成品質を達成し、複雑なポーズやごみの多い背景においてもRGBのみのベースラインを上回る性能を発揮する。

ABSTRACT

Recovering textured 3D models of non-rigid human body shapes is challenging due to self-occlusions caused by complex body poses and shapes, clothing obstructions, lack of surface texture, background clutter, sparse set of cameras with non-overlapping fields of view, etc. Further, a calibration-free environment adds additional complexity to both - reconstruction and texture recovery. In this paper, we propose a deep learning based solution for textured 3D reconstruction of human body shapes from a single view RGB image. This is achieved by first recovering the volumetric grid of the non-rigid human body given a single view RGB image followed by orthographic texture view synthesis using the respective depth projection of the reconstructed (volumetric) shape and input RGB image. We propose to co-learn the depth information readily available with affordable RGBD sensors (e.g., Kinect) while showing multiple views of the same object during the training phase. We show superior reconstruction performance in terms of quantitative and qualitative results, on both, publicly available datasets (by simulating the depth channel with virtual Kinect) as well as real RGBD data collected with our calibrated multi Kinect setup.

研究の動機と目的

• 複雑なポーズ、衣類による遮蔽、背景のごみの多い状況といった現実世界の条件下で、1枚のRGB画像から詳細なテクスチャ付き3次元人体モデルを再構成する課題に対処すること。
• 校正済みマルチカメラセットアップや強いボディモデル事前知識に依存する既存手法の限界を克服し、校正不要で1視点からの再構成を可能にすること。
• 安価なセンサー（例：Kinect）から得られるマルチビューRGB/Dデータを用いて、トレーニング中に深度と形状表現を同時に学習させることで、再構成精度を向上させること。
• 予測されたボリュメトリックな形状と入力RGB画像から直交投影テクスチャビューを合成することで、1枚の画像からの高品質なテクスチャ回復を実現すること。
• 模擬的および実世界のRGBDデータを用いた、極端なポーズや複雑な背景を含む多様なデータセットにおいて、強力な耐障害性を示すことで、実用的応用の可能性を実証すること。

提案手法

• 本手法は、マルチビューRGB/Dデータでトレーニングされたディープニューラルネットワークを用いて、1枚のRGB画像から非剛体人体のボリュメトリックグリッド表現を予測する。
• トレーニング段階でRGB/Dセンサーからの深度情報を活用することで、深度と形状表現を同時に学習し、ネットワークの正則化と一般化性能の向上を図る。
• 直交投影テクスチャビューの合成は、再構築された3次元ボリュメトリック形状を深度空間に投影し、対応するRGB画像を用いて2次元の直交投影テクスチャマップを生成することで実現する。
• 変分オートエンコーダーを用いて、合成された直交投影ビューから低解像度（64×64）のテクスチャ画像を生成し、それを3次元メッシュに再投影することでテクスチャ付きモデルを生成する。
• トレーニングの枠組みとして、校正済みマルチ-Kinectセットアップからのマルチビューデータを用い、一部のケースでは仮想Kinectを用いて深度をシミュレートすることで、1視点推論への頑健な一般化を可能にする。
• 本手法は、明示的なボディモデル制約を課さずに人間の身体対称性を活用することで、自由なフォルムの衣類に起因する非剛体変形に対しても再構成の頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 校正済みマルチカメラシステムを必要とせずに、1枚のRGB画像から非剛体人体の正確な3次元再構成を達成できるか。
• RQ2 トレーニング段階での深度情報の統合が、自己遮蔽や複雑なポーズが生じる状況下でも、1枚画像からの3次元再構成性能をどのように向上させるか。
• RQ3 1枚のRGB画像しか利用できない状況下で、単一視点テクスチャ合成パイプラインがどれほど現実的なテクスチャを生成できるか。
• RQ4 深度と形状表現の同時学習が、多様なポーズや背景条件においてモデルの頑健性をどのように向上させるか。
• RQ5 校正済みマルチ-Kinectセットアップで収集された実世界データに対しても、本手法は高い再構成品質を維持しながら一般化可能か。

主な発見

• 本手法は、複数のデータセットにおいて交差領域（IoU）の観点で優れた定量的性能を達成し、特に複雑なポーズやごみの多い背景においてRGBのみのベースラインを顕著に上回る。
• MITのハンドスタンドシーケンスや複雑な背景といった挑戦的状況では、RGBとRGB/D入力の間のIoU差が拡大する。これは、正確な再構成において深度情報が果たす重要な役割を示している。
• 定性的な結果から、ネットワークが人間の身体対称性を活用できるため、極端なポーズを含む多様な人体動作においても頑健な再構成が可能であることが示された。
• 明示的なボディモデル制約を課さずに、自由なフォルムの衣類に起因する非剛体変形を効果的に処理できることを、サムバダンスシーケンスの結果から確認した。
• テクスチャ合成により、妥当な低解像度（64×64）の直交投影テクスチャが得られ、それが3次元メッシュに効果的に投影されている。結果は補足動画で可視化されている。
• 本フレームワークは、校正済みマルチ-Kinectセットアップで収集された実世界のRGBDデータに対しても強く一般化でき、シミュレーションを超えた実用的応用の可能性を裏付けた。