[論文レビュー] 4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras

Yuxiang Zhang, Liang An+4 more|arXiv (Cornell University)|Feb 28, 2020

Human Pose and Action Recognition参考文献 40被引用数 6

ひとこと要約

本稿では、5台のRGBカメラを用いて、2次元のパーサー処理、クロスビュー間マッチング、時間的トラッキングを統合した4次元関連性グラフフレームワークに統合することで、リアルタイムで多人数のモーションキャプチャを実現する手法を提案する。本手法はヒューリスティックな4次元リムバンドパーサーとバンドル・クラスカルのアルゴリズムを用い、効率的な最適化を実現し、5人同時のシーンで30fpsの性能を達成し、外見的特徴を用いないにもかかわらず、最先端の手法を上回る高い精度を実現した。

ABSTRACT

This paper contributes a novel realtime multi-person motion capture algorithm using multiview video inputs. Due to the heavy occlusions in each view, joint optimization on the multiview images and multiple temporal frames is indispensable, which brings up the essential challenge of realtime efficiency. To this end, for the first time, we unify per-view parsing, cross-view matching, and temporal tracking into a single optimization framework, i.e., a 4D association graph that each dimension (image space, viewpoint and time) can be treated equally and simultaneously. To solve the 4D association graph efficiently, we further contribute the idea of 4D limb bundle parsing based on heuristic searching, followed with limb bundle assembling by proposing a bundle Kruskal's algorithm. Our method enables a realtime online motion capture system running at 30fps using 5 cameras on a 5-person scene. Benefiting from the unified parsing, matching and tracking constraints, our method is robust to noisy detection, and achieves high-quality online pose reconstruction quality. The proposed method outperforms the state-of-the-art method quantitatively without using high-level appearance information. We also contribute a multiview video dataset synchronized with a marker-based motion capture system for scientific evaluation.

研究の動機と目的

• 複数視点の動画において、重度の隠蔽状態にある多人数のモーションキャプチャをリアルタイムかつ高精細に実現する課題に対処すること。
• 個々の視点でのパーサー処理、クロスビュー間マッチング、時間的トラッキングを、一括最適化フレームワークに統合し、逐次処理の限界を克服すること。
• ノイズの多い検出結果や複雑な相互作用に強く、リアルタイム性能（30fps）を維持すること。
• 科学的評価のため、マーカーに基づく真値と同期された、複数視点・多人数の新しいデータセットを提供すること。

提案手法

• 2次元空間、1次元の視点、1次元の時間の次元を等価に扱う4次元関連性グラフを定式化し、ノードとして2次元の関節候補と、前フレームからの3次元関節を表現する。
• 画像特徴の信頼度、エピポール制約、および前フレームからの時間的整合性を組み合わせた信頼度重みを有するエッジを定義する。
• 複数の視点と時間軸にわたって、候補となるリムセグメントを効率的に特定するためのヒューリスティックな4次元リムバンドパーサーを提案する。
• 修正された最小全域木アプローチを用いて、4次元リムバンドを組み合わせて完全なスケルトンを構築するためのバンドル・クラスカルのアルゴリズムを導入する。
• 画像、ステレオ、時間的ヒューリスティックを統合的にバランスさせるエネルギー関数を用いて、全体の4次元グラフを最適化し、耐障害性を向上させる。
• パーサー処理、マッチング、トラッキングの同時精錬を可能にする統一されたグラフ最適化戦略を採用し、逐次段階による誤差伝搬を回避する。

実験結果

リサーチクエスチョン

• RQ1 統一された4次元グラフフレームワークにより、パーサー処理、マッチング、トラッキングを同時に最適化することで、多人数モーションキャプチャの精度と効率が向上するか？
• RQ2 RGBカメラのみを用いて、重度の隠蔽状態にある密度の高い多人数シーンで、30fpsのリアルタイム性能を達成できるか？
• RQ3 4次元関連性グラフは、逐次的な2段階または3段階パイプラインに比べて、精度と耐障害性においてどの程度優れているか？
• RQ4 高レベルの外見的情報に依存せずに、高品質な3次元ポーズ再構成を達成できるか？

主な発見

• 提案手法は、Shelfデータセットで平均97.6%のPCPを達成し、外見的特徴を用いないにもかかわらず、最先端の手法[14]（91.1% PCP）を上回った。
• 著者らが新たに提供したデータセットにおいて、本手法は90.2%のリCALLと88.5%のPRECISIONを達成し、2段階パイプラインおよびトラッキングなしのベースラインに比べ顕著に優れた性能を示した。
• 動画クリップ（02:55–03:30）において、トップダウン手法が誤検出により失敗する中で、本手法は重度の隠蔽状態や密な相互作用下でも高い精度を維持した。
• アブレーションスタディの結果、トラッキングエッジを削除すると性能が低下（93.4% PCP vs. 最終手法の97.6%）し、時間的整合性の重要性が確認された。
• 4次元グラフの定式化により、5台のカメラでのみ30fpsのリアルタイム動作が可能となり、実世界の産業用途に適したものとなった。
• 1つの視点でのパーサー処理の誤りに対しても耐性を示し、2視点再構成実験で、1つの視点での誤ったパーサー処理が3次元ポーズ推定を著しく劣化させないことが示された。