[論文レビュー] Learning Object Arrangements in 3D Scenes using Human Context

Jiang Yun, Marcus Lim+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 57

ひとこと要約

本論文では、到達可能性や使いやすさといったアフォーダンス、到達可能性、使いやすさを介して人間-対象の相互作用をモデル化することにより、屋内シーンにおける3次元対象配置の予測手法を提案する。同じ対象タイプに共通するパラメータを有するディリクレ過程混合モデルを用い、人間のポーズ分布を学習し、最適な対象配置を推論することで、平均予測誤差1.6メートルを達成し、実世界のシーン配置タスクにおいてベースラインを上回る性能を示した。

ABSTRACT

We consider the problem of learning object arrangements in a 3D scene. The key idea here is to learn how objects relate to human poses based on their affordances, ease of use and reachability. In contrast to modeling object-object relationships, modeling human-object relationships scales linearly in the number of objects. We design appropriate density functions based on 3D spatial features to capture this. We learn the distribution of human poses in a scene using a variant of the Dirichlet process mixture model that allows sharing of the density function parameters across the same object types. Then we can reason about arrangements of the objects in the room based on these meaningful human poses. In our extensive experiments on 20 different rooms with a total of 47 objects, our algorithm predicted correct placements with an average error of 1.6 meters from ground truth. In arranging five real scenes, it received a score of 4.3/5 compared to 3.7 for the best baseline method.

研究の動機と目的

• 屋内環境における妥当な3次元対象配置を予測する課題に対処すること。
• 対象-対象の関係ではなく、到達可能性や使用可能性といった人間-対象の相互作用に基づいて対象配置をモデル化すること。
• 複雑な対象-対象関係を避けて、人間のポーズ分布を活用することで、スケーラビリティを向上させること。
• 空間的特徴と人間中心の事前知識を用いて、シーン配置予測を改善すること。
• 実世界の屋内シーンにおいて、定量的評価と人間評価を用いて性能を評価すること。

提案手法

• 本手法は、到達可能性やアフォーダンスに注目し、人間-対象相互作用をモデル化する密度関数を3次元空間的特徴を用いて定義する。
• 同じ対象タイプに共通するパラメータを持つディリクレ過程混合モデルの変種を用い、人間のポーズ分布を学習する。
• 空間的制約と対象の有用性に基づいて、シーン内での意味のある人間のポーズ分布を捉える。
• 学習された人間のポーズ分布と空間的制約をもとに、対象配置を推論する。
• 本手法は、対象-対象モデル化に起因する組み合わせ的複雑性を回避し、対象数に対して線形にスケーリングされる。
• 確率的フレームワークを用いて、人間中心の空間的推論に基づき、妥当な対象配置の順位付けを行う。

実験結果

リサーチクエスチョン

• RQ1 人間の文脈を効果的にモデル化することで、3次元対象配置予測をどのように向上させられるか？
• RQ2 類似した対象タイプに一般化可能な形で、人間のポーズ分布を学習できるか？
• RQ3 人間-対象の相互作用をモデル化することで、対象-対象関係に比べて、より正確で現実的である対象配置が得られるか？
• RQ4 実世界の屋内シーンにおいて、本手法はベースライン手法と比較してどのように性能を発揮するか？
• RQ5 多様な屋内環境と異なる対象セットに対しても、本モデルは一般化可能か？

主な発見

• 提案手法は、47体の対象を含む20の異なる部屋において、地面真値からの平均予測誤差が1.6メートルであった。
• 実世界のシーン配置タスクにおいて、人間評価で4.3（満点5点）を達成し、最良のベースライン（3.7/5）を顕著に上回った。
• ディリクレ過程混合モデルにおける共通パラメータの使用が、類似した対象タイプ間での一般化を向上させた。
• 人間-対象関係をモデル化することで、対象数に比例する線形スケーリングが実現可能となり、複雑な対象-対象関係モデルとは対照的であった。
• 本手法は、キッチン、リビングルーム、スタディールームを含む多様な屋内環境において、頑健な性能を示した。
• 空間的アフォーダンスと到達可能性の統合により、予測された配置の現実性と妥当性が顕著に向上した。