[論文レビュー] Generating 3D People in Scenes without People

Yan Zhang, Mohamed S. Hassan+3 more|arXiv (Cornell University)|Dec 5, 2019

Human Pose and Action Recognition参考文献 56被引用数 4

ひとこと要約

本論文では、人物が存在しない3次元シーンにおいて、意味的・物理的に妥当な3次元人体を自動で合成する2段階の生成フレームワークを提示する。この手法は、シーンの深度とセマンティクスを条件とする条件付き変分オートエンコーダ（CVAE）を用い、多様で形状に配慮した人体メッシュを生成し、その後、形状に配慮したフィッティングを適用して物理的妥当性を確保する。このアプローチは、リアリズム、多様性、インタラクションの忠実度において、先行研究を顕著に上回る性能を発揮する。

ABSTRACT

We present a fully automatic system that takes a 3D scene and generates plausible 3D human bodies that are posed naturally in that 3D scene. Given a 3D scene without people, humans can easily imagine how people could interact with the scene and the objects in it. However, this is a challenging task for a computer as solving it requires that (1) the generated human bodies to be semantically plausible within the 3D environment (e.g. people sitting on the sofa or cooking near the stove), and (2) the generated human-scene interaction to be physically feasible such that the human body and scene do not interpenetrate while, at the same time, body-scene contact supports physical interactions. To that end, we make use of the surface-based 3D human model SMPL-X. We first train a conditional variational autoencoder to predict semantically plausible 3D human poses conditioned on latent scene representations, then we further refine the generated 3D bodies using scene constraints to enforce feasible physical interaction. We show that our approach is able to synthesize realistic and expressive 3D human bodies that naturally interact with 3D environment. We perform extensive experiments demonstrating that our generative framework compares favorably with existing methods, both qualitatively and quantitatively. We believe that our scene-conditioned 3D human generation pipeline will be useful for numerous applications; e.g. to generate training data for human pose estimation, in video games and in VR/AR. Our project page for data and code can be seen at: \url{https://vlg.inf.ethz.ch/projects/PSI/}.

研究の動機と目的

• VR/AR、ロボット工学、合成データ生成の分野における応用を制限する、3次元シーン内にリアルな自動生成3次元人体が不足している問題に対処すること。
• 人体がシーン内の物体に対して意味的に適切な位置に配置される（例：ソファに座る、コンロの近くに立つ）意味的に妥当な人体-シーンインタラクションをモデル化すること。
• 体の相互透過や浮遊を防ぎ、表面接触を強制することで、物理的に可能なインタラクションを保証すること。
• モノクロナルRGB画像からの3次元人体ポーズ推定などの下流タスクに利用可能な、シーンに条件づけられた3次元人体生成パイプラインを開発すること。
• シーンに配慮した3次元人体メッシュ生成のためのベンチマークを確立し、新規データセットと評価指標を提供すること。

提案手法

• シーンの深度とセマンティクスの潜在表現を条件とする条件付き変分オートエンコーダ（CVAE）を訓練し、3次元人体メッシュを生成する。
• 人体の基本的表現としてSMPL-Xモデルを採用し、形状とポーズパラメータを備えた詳細で微分可能かつ3次元メッシュ出力を可能にする。
• 生成後、シーンの幾何構造に配慮したフィッティングを適用し、相互透過を最小限に抑え、シーン表面への接触を確実にする。
• 衝突や浮遊をペナルティ化するための損失項 $\mathcal{L}_f$ を導入し、物理的妥当性を強制する。
• フレームワークは、拡張版のPROX-Qualitativeデータセットを用いて学習され、複数の仮想視点からのレンダリングにより合成データが生成された。
• 3つの指標（意味的妥当性、物理的妥当性、多様性）を用いて定量的ベンチマークとユーザースタディーにより評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 学習された生成モデルは、人為的介入なしに、人物が存在しない3次元シーン内に多様で意味的に妥当な3次元人体ポーズを生成できるか？
• RQ2 シーンの幾何構造に配慮したフィッティングは、相互透過や浮遊といった物理的に不適切な構成をどの程度効果的に是正できるか？
• RQ3 シーンに条件づけられた事前分布は、モノクロナルRGB画像からの3次元人体ポーズ推定タスクにおいて、どの程度性能を向上させるか？
• RQ4 本手法は、3次元人体メッシュ生成分野における最先端のベースラインと比較して、定量的・定性的にどの程度優れているか？
• RQ5 本手法は多様な屋内シーンに一般化可能であり、リアリスティックな人体-シーンインタラクションを生成できるか？

主な発見

• 提案手法は、ベースラインと比較して25%の多様性スコア上昇（表2）を示し、意味的妥当性は同等を維持しながら、顕著に高い多様性を達成した。
• ユーザースタディーの結果、PROX-Eでは平均3.49/5.0、MP3D-Rでは3.30/5.0のスコアが得られ、ベースラインを上回り、物理的損失を追加したバージョンはさらに向上した。
• PROX-Quantitativeデータセットにおいて、3次元人体ポーズ推定の性能が向上し、平均関節誤差（PJE）が174.10 mm、頂点同士の誤差（V2V）が171.75 mmに低下し、Simplify-Xを上回り、PROXと同等の性能を達成した。
• 形状に配慮したフィッティングステップにより、相互透過が低減され、物理的妥当性が向上したことが、衝突ペナルティの低減と接触の一貫性向上の定性的な結果から裏付けられた。
• 本モデルから得られるシーンに配慮した事前分布は、シーンに配慮した初期化を提供し、標準ベースラインと比較してV2V誤差を最大1.5%まで低減した。
• 本手法は、包括的な定量的・定性的な評価を通じて、3次元シーン内にリアリスト的で多様かつ物理的に妥当な人体を生成する分野で最先端の性能を達成した。