[論文レビュー] Geometric Pose Affordance: 3D Human Pose with Scene Constraints

Zhe Wang, Liyan Chen+3 more|arXiv (Cornell University)|May 19, 2019

Human Pose and Action Recognition参考文献 39被引用数 41

ひとこと要約

この研究は Geometric Pose Affordance (GPA) を導入します。データセットと手法で、シーン幾何の多層深度マップを用いてモノキュラーの3D人体ポーズ推定を制約し、遮蔽や複雑なシーンで精度を向上させます。2つの統合手法—幾何エンコード入力と微分可能な幾何整合性損失—を提示し、シーンに依存しないベースラインより改善を示します。

ABSTRACT

Full 3D estimation of human pose from a single image remains a challenging task despite many recent advances. In this paper, we explore the hypothesis that strong prior information about scene geometry can be used to improve pose estimation accuracy. To tackle this question empirically, we have assembled a novel $ extbf{Geometric Pose Affordance}$ dataset, consisting of multi-view imagery of people interacting with a variety of rich 3D environments. We utilized a commercial motion capture system to collect gold-standard estimates of pose and construct accurate geometric 3D CAD models of the scene itself. To inject prior knowledge of scene constraints into existing frameworks for pose estimation from images, we introduce a novel, view-based representation of scene geometry, a $ extbf{multi-layer depth map}$, which employs multi-hit ray tracing to concisely encode multiple surface entry and exit points along each camera view ray direction. We propose two different mechanisms for integrating multi-layer depth information pose estimation: input as encoded ray features used in lifting 2D pose to full 3D, and secondly as a differentiable loss that encourages learned models to favor geometrically consistent pose estimates. We show experimentally that these techniques can improve the accuracy of 3D pose estimates, particularly in the presence of occlusion and complex scene geometry.

研究の動機と目的

• 単一画像からの3Dヒューマンポーズ推定を強力なシーン幾何学的事前知識がどのように改善できるかを動機づける。
• ポーズとシーン幾何の相互作用研究のために、豊富な真値ポーズとシーン幾何情報を含むデータセット（GPA）を作成・公開する。
• CNNベースのポーズモデルへ効率的に統合するための、シーン幾何のコンパクトな多層深度マップ表現を提案する。
• 幾何をポーズ推定へ組み込む二つの仕組みを開発する：入力特徴としてエンコードされたシーン幾何と、幾何整合性損失。
• 遮蔽や複雑なシーン幾何学において特に、シーン非依存ベースラインよりポーズ推定精度が向上することを実証する。

提案手法

• 切り抜き画像から2D関節ヒートマップと深度を予測して3Dポーズを得るためにResNet-50をバックボーンとして採用する。
• 各カメラビューごとに多層深度マップを計算・エンコードし、各ビュー光線に沿った遮蔽と可視表面の交点を捉える。
• ビュー光線に沿ってポーズ推定がシーン幾何を突き抜けることを抑制する幾何整合性損失を導入する。
• 多層深度を入力特徴として用いる二つのエンコード方式を提供する：ビュー中心のクロップド深度マップと、ルート周囲のボリューメトリックエンコード。
• 段階的に学習する: 2Dポーズモジュール、次に3D深度回帰、最後に幾何学認識を伴うコンポーネントをモデルに追加。
• シンプルなリフティングモデルやPoseNet風の積分回帰などのベースラインと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 explicit scene geometry priors が cluttered または occluded な環境で単眼の3D人間ポーズ推定を改善できるか。
• RQ2 多層深度表現を用いて、計算量を過度に増やさずに関節の深度を制約できるか。
• RQ3 幾何エンコード入力と微分可能な幾何損失は、シーン非依存のポーズモデルより精度向上を生むか。
• RQ4 GPAデータセットは人間とシーンのアフォーダンス研究と、遮蔽および近ジオメトリ状況でのポーズ推定向上にどう寄与するか。

主な発見

• シーン幾何と真値3Dポーズを含む新しい GPA データセットが、幾何認識型ポーズ推定研究を支援するために公開される。
• 幾何の統合アプローチの二つ（多層深度入力としてのエンコードと幾何整合性損失）が、シーン非依存ベースラインと比較して3Dポーズ推定を改善。
• 最も大きな改善は遮蔽下と複雑な幾何を持つシーンで観測され、シーン制約の有用性を検証。
• 多層深度表現はシーン幾何を効率的にエンコードし、追加のCNN入力チャネルとして統合するか、予測深度を制約するために使用できる。