[論文レビュー] Holistic++ Scene Understanding: Single-view 3D Holistic Scene Parsing and Human Pose Estimation with Human-Object Interaction and Physical Commonsense

Yixin Chen, Siyuan Huang+4 more|arXiv (Cornell University)|Sep 4, 2019

Human Pose and Action Recognition参考文献 58被引用数 17

ひとこと要約

本稿では、人間-物体インタラクション（HOI）と物理的常識推論を統合的に活用することで、1枚のRGB画像から3次元ホリスティックシーン解析と人体ポーズ推定を統合的に実行する、Holistic++シーン理解のフレームワークを提案する。構造化されたパースグラフ上でマルコフ連鎖モンテカルロ（MCMC）推論を用いることで、空間的整合性とインタラクション制約を強制し、PiGraphs、Watch-n-Patch、SUN RGB-Dの3つのデータセットにおいて、2次元および3次元の指標でベースラインを上回る3次元再構成精度と一般化性能を向上させる。

ABSTRACT

We propose a new 3D holistic++ scene understanding problem, which jointly tackles two tasks from a single-view image: (i) holistic scene parsing and reconstruction---3D estimations of object bounding boxes, camera pose, and room layout, and (ii) 3D human pose estimation. The intuition behind is to leverage the coupled nature of these two tasks to improve the granularity and performance of scene understanding. We propose to exploit two critical and essential connections between these two tasks: (i) human-object interaction (HOI) to model the fine-grained relations between agents and objects in the scene, and (ii) physical commonsense to model the physical plausibility of the reconstructed scene. The optimal configuration of the 3D scene, represented by a parse graph, is inferred using Markov chain Monte Carlo (MCMC), which efficiently traverses through the non-differentiable joint solution space. Experimental results demonstrate that the proposed algorithm significantly improves the performance of the two tasks on three datasets, showing an improved generalization ability.

研究の動機と目的

• 1枚のRGB画像から3次元シーンと人体ポーズを同時に再構成する課題に、2つのタスク間の相関関係を活用して対処すること。
• 人間-物体インタラクション（HOI）を幾何的制約として組み込むことで、エージェントと物体間の空間的関係を精緻化し、3次元シーン理解を向上させること。
• 支持や物体の恒常性といった物理的常識をモデル化することで、3次元再構成の物理的整合性と安定性を向上させること。
• HOIと物理的常識を一般化可能な事前知識として埋め込むことで、多様なデータセット間での一般化性能を向上させること。
• 非微分可能な連合推論フレームワークを構築し、構造化されたパースグラフ上でMCMCを用いて複雑な解空間を効率的に探索すること。

提案手法

• 本手法は、階層的パースツリーと端末ノード上のマルコフ確率場（MRF）を用いて、3次元シーン構成をパースグラフとして表現する。
• 連合推論は、2次元検出結果と投影された3次元予測の尤度、およびHOIと物理的常識に関する事前分布を組み合わせた最大後確信度（MAP）推定により実行される。
• 人間-物体インタラクション（HOI）はエネルギー関数内の事前分布項としてモデル化され、人間と物体の間で妥当な空間的配置（例：座っている、持っている）を制約する。
• 物理的常識は、物体が浮遊している、または表面を貫通しているなどの物理的に不自然な配置をペナルティ項で罰する。
• 非微分可能な解空間を走査するため、マルコフ連鎖モンテカルロ（MCMC）サンプラーがパースグラフの最適化に用いられ、3次元ポーズ、物体ボックス、カメラポーズ、部屋のレイアウトが同時に最適化される。
• HOIに従ったトップダウンのサンプリングプロセスにより、複雑または遮蔽されたシーンにおいても、物体検出とポーズ推定の精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 3次元シーン解析と人体ポーズ推定の連合推論は、個別タスク最適化を上回る性能向上を達成できるか？
• RQ2 人間-物体インタラクション（HOI）推論は、1枚の視覚からの3次元再構成における幾何的曖昧性をどれほど低減し、空間的精度を向上させられるか？
• RQ3 物理的常識の組み込みは、3次元シーン再構成の整合性と安定性をどの程度向上させるか？
• RQ4 HOIと物理的常識は、実世界の複雑さが異なる多様なデータセット間で一般化性能を向上させる一般事前知識として機能できるか？
• RQ5 MCMCに基づく推論フレームワークは、ホリスティック3次元シーン理解の非微分可能で高次元な解空間をどのように処理できるか？

主な発見

• 提案手法は、3次元人体ポーズ推定で最先端の性能を達成し、PiGraphsでは3次元誤差をVNectの0.732mから0.472mに、Watch-n-Patchでは0.646mから0.330mに低減した。
• 合成データセットのSUN RGB-Dでは、真値2次元検出結果を用いても、3次元誤差をベースラインの0.435mから0.517mに低下させ、高いロバストネスを示した。
• アブレーション解析により、HOIを除外すると3次元オブジェクトIoUが0.9%低下（27.8%に）、3次元ポーズ誤差が0.069m増加（0.521mに）することが判明し、HOIが空間的推論において極めて重要であることが示された。
• 物理的違反（物体と支持面との距離）は、物理的制約なしの状態から0.223mから0.150mに低下し、物理的整合性の向上が確認された。
• HOI相互作用（例：座っている）の誤検出率は、HOIを含めない場合の15.2%から13.1%に低下し、トップダウン推論による検出性能の向上が示された。
• 定性的な結果から、PiGraphs、Watch-n-Patch、SUN RGB-Dの全データセットで一貫した一般化性能が得られ、初期化が改善され、物理的に妥当な3次元レイアウトが再構成された。