[論文レビュー] Human-Aware Object Placement for Visual Environment Reconstruction

Hongwei Yi, Chun-Hao P. Huang+6 more|arXiv (Cornell University)|Mar 7, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

MOVERは、単眼RGB動画から得られる人間-シーン相互作用（HSI）を活用して、物理的に妥当な3Dシーンレイアウトを再構築し、3D人間ポーズと形状（HPS）を精緻化する、画期的な最適化フレームワークを提案する。複数フレームにわたる深度順序、衝突防止、接触制約を統合的に最適化することで、3Dシーン再構築の最先端の性能を達成するとともに、事前3Dシーンスキャンを必要とせずにHPS推定を向上させる。

ABSTRACT

Humans are in constant contact with the world as they move through it and interact with it. This contact is a vital source of information for understanding 3D humans, 3D scenes, and the interactions between them. In fact, we demonstrate that these human-scene interactions (HSIs) can be leveraged to improve the 3D reconstruction of a scene from a monocular RGB video. Our key idea is that, as a person moves through a scene and interacts with it, we accumulate HSIs across multiple input images, and optimize the 3D scene to reconstruct a consistent, physically plausible and functional 3D scene layout. Our optimization-based approach exploits three types of HSI constraints: (1) humans that move in a scene are occluded or occlude objects, thus, defining the depth ordering of the objects, (2) humans move through free space and do not interpenetrate objects, (3) when humans and objects are in contact, the contact surfaces occupy the same place in space. Using these constraints in an optimization formulation across all observations, we significantly improve the 3D scene layout reconstruction. Furthermore, we show that our scene reconstruction can be used to refine the initial 3D human pose and shape (HPS) estimation. We evaluate the 3D scene layout reconstruction and HPS estimation qualitatively and quantitatively using the PROX and PiGraphs datasets. The code and data are available for research purposes at https://mover.is.tue.mpg.de/.

研究の動機と目的

• 単眼3Dシーン再構築手法が人間の相互作用を無視することで生じる物理的に不自然なシーンの制限を是正すること。
• 人間-シーン相互作用に由来するシーン整合性を活用して、3D人間ポーズと形状（HPS）推定を向上させること。
• 環境の事前3Dスキャンを必要とせず、1台の静止カメラからの入力で一貫性のある3Dシーンレイアウトを再構築する手法を開発すること。
• 奥行き順序、非透過性、表面接触といった、顕在的および暗黙的な人間-シーン相互作用の手がかりを活用して、幾何学的整合性を向上させること。
• 複数フレームにわたる蓄積されたHSI制約が、シーンレイアウトと人間ボディパラメータを同時に最適化することで、より現実的な再構築を実現できることを示すこと。

提案手法

• MOVERは、人間-シーン相互作用（HSI）制約を用いて、カメラポーズ、床面、3Dオブジェクト位置を同時に最適化するグローバル最適化フレームワークを採用する。
• 3種類のHSI制約を統合する：オクルージョンから得られる深度順序、人間が物体に貫通しないようにする非透過性、接触面の空間的一致。
• 単眼動画からの入力を処理し、推定された3D人間メッシュと3Dオブジェクト形状を用いて、複数フレームにわたる相互作用の手がかりを蓄積する。
• SDFベースの接触、衝突回避、深度順序制約を統合した微分可能損失関数を用いて最適化を実行する。
• 接触損失とSDF損失を統合することで、シーンレイアウトと初期HPS推定の両方を反復的最適化により精緻化する。
• 事前3Dシーンスキャンを必要とせず、RGB動画のみから再構築を可能にする。

(a)

実験結果

リサーチクエスチョン

• RQ1 単眼RGB動画シーケンスにおける人間-シーン相互作用を、3Dシーンレイアウト再構築の向上に活用できるか？
• RQ2 オクルージョン、非透過性、接触制約を複数フレームにわたって同時に最適化することで、物理的に妥当な3Dシーンを生成できるか？
• RQ3 再構築された3Dシーンが、3D人間ポーズと形状推定の精度をどの程度向上できるか？
• RQ4 環境の事前3Dスキャンを必要とせず、一貫性のある3Dシーン再構築を実現できるか？
• RQ5 複数フレームにわたる蓄積されたHSI手がかりは、単フレームまたは孤立した再構築と比較して、幾何学的整合性をどの程度向上させるか？

主な発見

• カメラと床面の制約を追加した際、平均関節誤差（PJE）は43.21、平均頂点間距離（V2V）は42.41低下し、ベースラインのHPS推定が顕著に向上した。
• すべてのHSI制約を備えた完全モデルは、PROXデータセットでPJE 174.37、V2V 178.31を達成し、HolisticMeshを上回り、3Dシーンスキャンを必要とせずにPROXの性能に近づいた。
• 接触制約のみを適用した場合、人間-シーン接触スコアは最も高かったが、非衝突スコアは低下し、接触の忠実性と衝突回避の間にはトレードオフがあることが示された。
• 深度順序制約のみを適用した場合、完全モデルよりもわずかに優れたシーン再構築が得られたが、接触スコアは悪化し、接触と衝突回避制約の補完的役割が顕著に現れた。
• SDF損失と接触損失の統合により、HPS推定がさらに精緻化された。これは、シーン整合性が人間ボディ再構築を向上させることを示している。
• PROXおよびPiGraphsにおける定性的な結果から、MOVERはTotal3DやHolisticMeshと比較して、より一貫性があり物理的に妥当な3Dシーンと人間ポーズを生成した。

(b)