[論文レビュー] Panoptic Studio: A Massively Multiview System for Social Interaction Capture

Hanbyul Joo, Tomas Simon+11 more|arXiv (Cornell University)|Dec 9, 2016

Human Pose and Action Recognition被引用数 16

ひとこと要約

本論文では、521台の同期化されたカメラを備えた大規模マルチビュー・システム、Panoptic Studioを提示する。このシステムは、マーカーを用いずに、自然な社会的相互作用における複数人の全身3次元運動を捉える。多数の視点から得られる弱い2次元ポーズ検出を統合し、時間的経過に伴って軌道を精緻化することで、最大8人の人物に対して、頑健で長期的かつ遮蔽に強い3次元運動再構成を実現し、マーカーレスな社会的相互作用のキャプチャにおいて新たなベンチマークを確立した。

ABSTRACT

We present an approach to capture the 3D motion of a group of people engaged in a social interaction. The core challenges in capturing social interactions are: (1) occlusion is functional and frequent; (2) subtle motion needs to be measured over a space large enough to host a social group; (3) human appearance and configuration variation is immense; and (4) attaching markers to the body may prime the nature of interactions. The Panoptic Studio is a system organized around the thesis that social interactions should be measured through the integration of perceptual analyses over a large variety of view points. We present a modularized system designed around this principle, consisting of integrated structural, hardware, and software innovations. The system takes, as input, 480 synchronized video streams of multiple people engaged in social activities, and produces, as output, the labeled time-varying 3D structure of anatomical landmarks on individuals in the space. Our algorithm is designed to fuse the "weak" perceptual processes in the large number of views by progressively generating skeletal proposals from low-level appearance cues, and a framework for temporal refinement is also presented by associating body parts to reconstructed dense 3D trajectory stream. Our system and method are the first in reconstructing full body motion of more than five people engaged in social interactions without using markers. We also empirically demonstrate the impact of the number of views in achieving this goal.

研究の動機と目的

• 複数人の自然な、シナリオフリーな社会的相互作用を捉える際の課題、特に深刻な遮蔽、広大な空間的スケール、人体の外見や構成の高い多様性に対処すること。
• 3次元運動キャプチャにおいて、身体マーカーや事前3次元テンプレート、被験者固有の仮定を不要とする。
• 多数の多様な視点を用いることで、耐障害性と精度を向上させるスケーラブルでモジュラーなマルチビュー・キャプチャ・システムを設計すること。
• 全身3次元運動アノテーションが付与された、3時間以上の自然なグループ相互作用を含む大規模で公開可能なデータセットを生成すること。

提案手法

• 5.49mのジオデシックドーム上に配置された480台のVGA、31台のHD、10台のKinect v2のRGB+Dカメラを用い、多数の異なる角度から同期されたビデオストリームを取得する。
• 各視点で弱い2次元人体ポーズ検出器を用いてボディランドマークを検出し、それらを空間的に投票することで初期の3次元骨格候補を生成する。
• 時間的精緻化フレームワークにより、密な3次元軌道ストリームを連結することで、ボディパーツを複数視点で関連付け、一貫性を向上させ、誤差を低減する。
• 時間的整合性モデリングにより誤差の蓄積を回避し、10分を超える長時間のキャプチャであってもドリフトを生じさせない。
• 3次元テンプレートやボディシェイプの事前知識、標準ポーズに依存せず、外見やトポロジーの変化に強く対応できる全身3次元運動再構成を実現する。
• 空間的投票と時間的軌道関連付けを活用して、遮蔽や左右肢の混同による曖昧さを解消する。

実験結果

リサーチクエスチョン

• RQ1 視点数の増加が、複雑な社会的相互作用におけるマーカーレス3次元運動キャプチャの精度と耐障害性に与える影響は何か？
• RQ2 高密度な視点数において、弱い2次元ポーズ検出器を効果的に統合することで、3次元テンプレートなしに信頼性の高い3次元骨格再構成が達成可能か？
• RQ3 時間的軌道関連付けは、長時間にわたる遮蔽に強いシーンにおいて、3次元運動再構成の整合性と安定性をどの程度向上できるか？
• RQ4 本システムは、外見や体型、ポーズが異なる多様な被験者を、自然で制御されていない社会的状況でどの程度効果的に処理できるか？

主な発見

• 本システムは、マーカーを一切使用せず、最大8名の人物の自然な社会的相互作用における全身3次元運動を再構成でき、10分を超える期間にわたり高い時間的整合性を維持した。
• 実験的結果から、視点数の増加が性能向上に顕著に寄与することが示され、遮蔽耐性および精度において、解像度は高くても視点数が少ないシステムを上回った。
• 特に、乳児が完全に隠された場合や、2次元検出で左右肢が混同されるような深刻な遮蔽状況でも、本手法は頑健な再構成を実現した。
• 本システムの性能は、特に異常なポーズの検出や左右肢の一貫的区別が難しい状況において、下位の2次元ポーズ検出器の信頼性に依存している。
• 生成されたデータセットには、521視点にわたる1億5300万件のラベル付きポーズインスタンスが含まれており、社会行動の学習や分析に適した豊富で多様かつ時間的に整合性のあるデータを提供する。
• 本システムにより、2次元検出器の改善訓練や、2次元顔部のランドマーク検出器を用いたマルチビュー3次元顔再構築への応用拡張といった、新たな応用が可能になった。