[論文レビュー] BEHAVE: Dataset and Method for Tracking Human Object Interactions

Bharat Lal Bhatnagar, Xianghui Xie+4 more|arXiv (Cornell University)|Apr 14, 2022

Human Pose and Action Recognition被引用数 6

ひとこと要約

BEHAVEは、マルチビューRGBDカメラを用いた自然環境下における人間と物体の相互作用の3次元追跡のための最初のデータセットと手法を提示する。本手法は、SMPLを用いた人体追跡、テンプレートメッシュを用いた物体追跡、および対応関係と符号なし距離場を予測することで、明示的な表面接触を同時に追跡し、ノイズ、隠蔽、不完全なデータに対しても頑健な性能を発揮する。IP-Net や LoopReg といった先行手法を上回る精度と効率性を達成している。

ABSTRACT

Modelling interactions between humans and objects in natural environments is central to many applications including gaming, virtual and mixed reality, as well as human behavior analysis and human-robot collaboration. This challenging operation scenario requires generalization to vast number of objects, scenes, and human actions. Unfortunately, there exist no such dataset. Moreover, this data needs to be acquired in diverse natural environments, which rules out 4D scanners and marker based capture systems. We present BEHAVE dataset, the first full body human- object interaction dataset with multi-view RGBD frames and corresponding 3D SMPL and object fits along with the annotated contacts between them. We record around 15k frames at 5 locations with 8 subjects performing a wide range of interactions with 20 common objects. We use this data to learn a model that can jointly track humans and objects in natural environments with an easy-to-use portable multi-camera setup. Our key insight is to predict correspondences from the human and the object to a statistical body model to obtain human-object contacts during interactions. Our approach can record and track not just the humans and objects but also their interactions, modeled as surface contacts, in 3D. Our code and data can be found at: http://virtualhumans.mpi-inf.mpg.de/behave

研究の動機と目的

• 自然環境下における人間-物体相互作用のための大規模かつ現実世界のデータセットの不足に応えること。
• 低コストで携帯可能なマルチカメラセットアップを用いて、人体、物体、およびそれらの物理的接触を正確に3次元で追跡可能にする。
• 相互作用中に頻発するノイズや不完全な深度データ、隠蔽の課題に対処すること。
• ニューラルネットワークによる対応関係と符号なし距離場の予測を活用した、統合的フィッティングフレームワークを構築すること。
• 研究の促進を目的として、公開可能なデータセットとコードベースを提供すること。

提案手法

• ポータブルで一般消費者向けのカメラを用いたマルチビューRGBD設定を採用し、自然環境下での相互作用を捉える。
• 人体表現にはパラメトリックなSMPLボディモデルを、物体モデリングには3次元テンプレートメッシュを採用する。
• 3次元クエリポイントからSMPL表面への対応関係を予測し、人体および物体の表面に対して符号なし距離場を予測する。
• SMPLおよび物体メッシュのフィッティングにのみ30,000ポイントのクエリポイントを用いる、微分可能で暗黙的な登録損失を導入し、高コストなMarching Cubesを回避する。
• 物理的に妥当な相互作用を強制し、物体の浮遊を防ぐために、接触予測を重要な監視信号として統合する。
• 欠損データやノイズに対して頑健性を高めるために、形状補完、対応関係、接触予測を統合した共同最適化目的関数を採用する。

Figure 1 : Given a multi-view RGBD sequence, our method tracks the human, the object and their contacts in 3D.

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの手法が、マルチビューRGBD入力のみを用いて、自然環境下で人体、物体、およびそれらの表面接触を同時に追跡できるか？
• RQ2 対応関係予測と符号なし距離場を活用することで、隠蔽や不完全な深度データに対する頑健性をどのように向上させられるか？
• RQ3 接触予測が、追跡された人間-物体相互作用の物理的妥当性を顕著に向上させられるか？
• RQ4 IP-Net や LoopReg といった最先端手法と比較して、本手法は現実世界のノイズや欠損データ下で精度と効率性において優れているか？
• RQ5 学習可能な微分可能登録フレームワークは、Marching Cubes などの従来の非微分可能再構築パイプラインをどれだけ代替可能か？

主な発見

• 本手法は、IP-Net よりも精度と効率性において優れており、IP-Net が約200万ポイントを必要とするのに対し、本手法は30,000ポイントでのみ動作し、Marching Cubes の必要性を排除している。
• LoopReg よりも優れた隠蔽およびノイズ耐性を示しており、表面点のみに依存するため、欠損点群では失敗する。
• 接触予測は物理的に妥当な追跡に不可欠である：接触予測なしでは、物体が浮遊したり人体とずれたりする傾向がある。
• BEHAVEデータセットには、8名の被験者、20個の物体、5つの多様な場所を含む15,200フレームのマルチビューRGBDシーケンスが含まれており、これまでで最大規模のベンチマークである。
• 本手法は、マーカーを用いたシステムや限定的なモーショントラッキングボリュームに依存せずに、ポータブルで低コストなRGBDカメラのみで、人間-物体相互作用の正確な3次元追跡を可能にする。
• 公開されたコードとデータセットは、今後の人間-物体相互作用モデリング分野の研究を促進すると予想され、単一視点およびマルチビュー追跡、ポーズ推定、3次元再構築の分野における新たなベンチマークを提供する。