[論文レビュー] Markerless 3D human pose tracking through multiple cameras and AI: Enabling high accuracy, robustness, and real-time performance

Luca Fortini, Mattia Leonori+3 more|arXiv (Cornell University)|Mar 31, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、マルチカメラ設定とAIベースの2次元ポーズ推定を用いたマーカーレス3次元人体ポーズ追跡フレームワークを提案する。重み付き最小二乗（WLS）トリアングレーション手法によるデータ統合により、制約のない環境でも高い精度、リアルタイム性能、耐障害性を達成する。本手法はユーザー干渉を最小限に抑え、多様な応用分野において高い信頼性を発揮する実用的展開を可能にする。

ABSTRACT

Tracking 3D human motion in real-time is crucial for numerous applications across many fields. Traditional approaches involve attaching artificial fiducial objects or sensors to the body, limiting their usability and comfort-of-use and consequently narrowing their application fields. Recent advances in Artificial Intelligence (AI) have allowed for markerless solutions. However, most of these methods operate in 2D, while those providing 3D solutions compromise accuracy and real-time performance. To address this challenge and unlock the potential of visual pose estimation methods in real-world scenarios, we propose a markerless framework that combines multi-camera views and 2D AI-based pose estimation methods to track 3D human motion. Our approach integrates a Weighted Least Square (WLS) algorithm that computes 3D human motion from multiple 2D pose estimations provided by an AI-driven method. The method is integrated within the Open-VICO framework allowing simulation and real-world execution. Several experiments have been conducted, which have shown high accuracy and real-time performance, demonstrating the high level of readiness for real-world applications and the potential to revolutionize human motion capture.

研究の動機と目的

• マーカー付きモーショングラフィックスシステムの限界、すなわちユーザーの不快感、セットアップの複雑さ、現実世界での使用制限を解消すること。
• 既存のマーカーレス3次元ポーズ推定手法における精度、リアルタイム性能、耐障害性のトレードオフを克服すること。
• 物理的マーカーを必要とせず、標準のRGBカメラとAIベースの2次元ポーズ推定器のみを用いて、実用的かつリアルタイムな3次元人体モーショントラッキングを実現すること。
• 複数視点からの2次元キーポイント検出を、適応的重みを用いて統合するトリアングレーションフレームワークを開発し、遮蔽や信頼性の低い予測下でも3次元再構成精度を向上させること。
• Open-VICOフレームワークに統合し、多様な環境におけるシミュレーションおよび実世界への展開を可能にすること。

提案手法

• 空間的多様性により視線の遮断問題を回避する複数のRGBカメラを用いて、人体の動きを同期された動画ストリームで捉える。
• AIベースの2次元ポーズ推定（例：OpenPose）を用い、各カメラビューで21個の身体関節を検出する。信頼度スコアと可視性指標を入力として使用する。
• 2次元検出結果から3次元関節位置を再構成するために、重み付き最小二乗（WLS）トリアングレーション手法を適用し、重み付き残差を最小化する。
• 信頼度スコア（$w_{c,j}^s$）、距離に基づく信頼性（$w_{c,j}^d$）、直交性インデックス（$w_{c,j}^o$）の3要素を用いて、各関節およびカメラごとの適応的重みを計算する。
• しきい値戦略を実装：信頼度スコアが0.4未満の関節はトリアングレーションから除外することで、ノイズおよび外れ値の影響を低減する。
• 3次元セグメント角度および解剖学的フレームを再構成された3次元関節から算出するために、国際バイオメカニクス協会（ISB）の関節座標系（JCS）基準を採用する。

実験結果

リサーチクエスチョン

• RQ1 複数視点からの2次元ポーズ推定とWLSトリアングレーションを組み合わせることで、マーカーなしでリアルタイムかつ高精度な3次元人体ポーズ再構成が可能か？
• RQ2 信頼度、距離、可視性に基づく適応的重みは、遮蔽や低品質な検出下でも3次元ポーズ精度をどのように向上させるか？
• RQ3 本手法は、実世界環境における精度とレイテンシの点で、既存のマーカーレス3次元ポーズ推定手法をどの程度上回るか？
• RQ4 特別なキャリブレーションや制御された背景を必要とせず、多様な環境や複雑な人体運動に対しても、本システムは耐障害性を維持できるか？
• RQ5 Open-VICOプラットフォーム内でのフレームワーク統合は、シミュレーションおよび実世界への展開においてどの程度効果的か？

主な発見

• 提案フレームワークは、制約のない環境でも高精度な3次元人体ポーズ再構成を達成しており、マーカー付きシステムと同等の性能を示す。
• 信頼度、距離、可視性に基づく適応的重みの使用は、遮蔽や低信頼度検出下でも顕著な耐障害性向上をもたらした。
• システムはリアルタイムで動作し、VR、ロボット工学、デジタルツインなどのインタラクティブなアプリケーションに適した低レイテンシを達成した。
• 信頼度が0.4未満の関節をしきい値戦略で除外することで、誤った2次元検出の影響を低減し、全体のトリアングレーション精度が向上した。
• Open-VICOフレームワーク内への統合により、シミュレーションおよび実世界へのシームレスな展開が可能となり、本システムの実用的適合性が裏付けられた。
• 本手法は、異なるボディポーズおよびカメラ設定においても強力な汎化性能を示し、再トレーニングや複雑なキャリブレーションを必要とせずに一貫した性能を維持した。