[論文レビュー] Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild

Jason Zhang, Sam Pepose+4 more|arXiv (Cornell University)|Jul 30, 2020

3D Shape Modeling and Analysis参考文献 65被引用数 6

ひとこと要約

本稿では、1枚の屋外画像から人間と物体の3次元空間的配置を推定するためのPHOSAという手法を提案する。共同推論とデータ駆動型の事前知識を用いることで、3次元の教師なし学習でも、一貫性のある3次元レイアウトを実現し、大きな物体や手持ちの物体を含む複雑なシーンにおける曖昧さを顕著に低減する。

ABSTRACT

We present a method that infers spatial arrangements and shapes of humans and objects in a globally consistent 3D scene, all from a single image in-the-wild captured in an uncontrolled environment. Notably, our method runs on datasets without any scene- or object-level 3D supervision. Our key insight is that considering humans and objects jointly gives rise to "3D common sense" constraints that can be used to resolve ambiguity. In particular, we introduce a scale loss that learns the distribution of object size from data; an occlusion-aware silhouette re-projection loss to optimize object pose; and a human-object interaction loss to capture the spatial layout of objects with which humans interact. We empirically validate that our constraints dramatically reduce the space of likely 3D spatial configurations. We demonstrate our approach on challenging, in-the-wild images of humans interacting with large objects (such as bicycles, motorcycles, and surfboards) and handheld objects (such as laptops, tennis rackets, and skateboards). We quantify the ability of our approach to recover human-object arrangements and outline remaining challenges in this relatively domain. The project webpage can be found at https://jasonyzhang.com/phosa.

研究の動機と目的

• 屋外の1枚の画像から、2次元投影による曖昧さが本質的に存在するため、グローバルに一貫性のある3次元人間-物体空間的配置を推定する課題に対処すること。
• 個々の3次元推定に依存するのではなく、典型的な相互作用パターンや物体サイズの事前知識といった、人間と物体の共同制約を活用することで、3次元再構築における曖昧さを低減すること。
• 3次元アノテーションを必要とせず、オブジェクトスケール分布を学習し、深度順序と隠蔽の一貫性を強制する自己教師付き最適化フレームワークを開発すること。
• 2次元インスタンスセグメンテーションと事前学習済み3次元人間再構築の情報のみを用いて、制御されていない環境でも包括的な3次元シーン理解の可能性を示すこと。
• 多様なオブジェクトカテゴリーや相互作用タイプに一般化可能な、スケーラブルな3次元オブジェクト理解パイプラインを確立すること。

提案手法

• 各インスタンスごとの内部スケールを用いて、局所的な3次元予測を共有のワールド座標系に変換することで、人間とオブジェクト間のメトリック的一致性を実現する。
• データからオブジェクトサイズの分布を学習するスケール損失を導入し、教師なしの条件下でオブジェクトスケールのデータ駆動型事前知識を提供する。
• 隠蔽に配慮したシルエット再投影損失を導入し、3次元オブジェクトポーズが可視画像シルエットと一貫したままであることを保証することで、幾何的正確性を向上させる。
• 人間-オブジェクト相互作用損失を導入し、ハンドがハンドルにのっているなど、空間的関係をエンコードすることで、人間のボディに相対するオブジェクト配置をガイドする。
• グローバル最適化フレームワークが、これらの損失に加え、深度順序と衝突回避を統合し、一貫性のある3次元シーンレイアウトを生成する。
• 異なる可微分レンダラを用いた勾配ベースの最適化により、2次元インスタンスセグメンテーションマスクと2次元キーポイント予測のみを入力として、3次元ポーズと形状を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 制御されていない環境における1枚の画像からの3次元再構築において、人間とオブジェクトの共同推論が曖昧さを低減できるか？
• RQ2 オブジェクトサイズや人間-オブジェクト相互作用に関するデータ駆動型事前知識が、3次元教師なし学習において3次元レイアウトの一貫性をどの程度向上できるか？
• RQ3 隠蔽に配慮した損失と相互作用に配慮した損失は、複雑なシーンにおける3次元オブジェクトポーズ推定をどの程度効果的にガイドできるか？
• RQ4 自己教師付きで最適化に基づくアプローチは、多様なオブジェクトカテゴリーや相互作用タイプにわたり、妥当な3次元人間-オブジェクト配置を達成できるか？
• RQ5 各損失項（スケール、隠蔽、相互作用、深度、衝突）が最終的な3次元レイアウト品質に果たす相対的寄与度はどの程度か？

主な発見

• 提案手法は、68%のテストケースで独立した人間・オブジェクトの3次元再構築を上回り、50%は同等と評価されたことから、統計的に有意な改善が得られた。
• 隠蔽に配慮したシルエット損失と相互作用損失を省いた場合、性能の低下が最も顕著に観察され、これらが幾何的・空間的妥当性の観点で極めて重要な役割を果たしていることが示された。
• スケール損失は、ほとんどのオブジェクトカテゴリで性能向上をもたらし、特に経験的平均から離れた初期化時において顕著な改善が見られたことから、スケールの曖昧さを解消する価値があると示された。
• 深度順序損失は中程度の性能向上をもたらしたが、表面三角形最適化における局所最適解の影響で、衝突損失はやや弱い効果にとどまった。
• 本手法は、サーフボードやオートバイといった大きな物体、ラップトップやテニスラケットといった手持ちのアイテムを含む多様な相互作用を成功裏に再構築でき、広範な適用可能性を示した。
• 定性的な結果から、共同推論により、独立推定では解決できない根本的な曖昧さ（浮遊物体や誤ったポーズ配置）が解消されていることが明らかになった。