[論文レビュー] FlyCap: Markerless Motion Capture Using Multiple Autonomous Flying Cameras

Lan Xu, Lu Fang+5 more|arXiv (Cornell University)|Oct 29, 2016

Advanced Vision and Imaging参考文献 32被引用数 4

ひとこと要約

FlyCapは、RGBDセンサを装備した3台の自律飛行型カメラ（UAV）を用いて、大空間における全身の表面運動をマーカーレスで追跡するモーションキャプチャシステムを提案する。非剛性表面登録法と視覚オドメトリ、ガウス・ニュートン最適化を組み合わせ、表面変形とUAVのポーズを同時に推定することで、マーカーなしで正確かつリアルタイムなモーション再構築を実現する。

ABSTRACT

Aiming at automatic, convenient and non-instrusive motion capture, this paper presents a new generation markerless motion capture technique, the FlyCap system, to capture surface motions of moving characters using multiple autonomous flying cameras (autonomous unmanned aerial vehicles(UAV) each integrated with an RGBD video camera). During data capture, three cooperative flying cameras automatically track and follow the moving target who performs large scale motions in a wide space. We propose a novel non-rigid surface registration method to track and fuse the depth of the three flying cameras for surface motion tracking of the moving target, and simultaneously calculate the pose of each flying camera. We leverage the using of visual-odometry information provided by the UAV platform, and formulate the surface tracking problem in a non-linear objective function that can be linearized and effectively minimized through a Gaussian-Newton method. Quantitative and qualitative experimental results demonstrate the competent and plausible surface and motion reconstruction results

研究の動機と目的

• マーカーなしで自動的かつ非侵襲的かつ大規模なモーションキャプチャを可能にすること。
• 広大な環境における全身運動に伴う複雑な非剛性表面変形を追跡する課題に対処すること。
• 複数の飛行カメラの3次元ポーズと、動く被写体の表面運動を同時に推定するシステムを開発すること。
• UAVからの視覚オドメトリと深度データを活用して、ロバストでリアルタイムな表面再構築を実現すること。

提案手法

• 本システムは、運動中に深度およびカラー画像を取得するRGBDカメラを装備した3台の自律UAVを用いる。
• 非剛性表面登録法により、複数のカメラからの深度データを統合し、動く被写体の変形する表面を追跡する。
• 表面追跡問題を、視覚オドメトリと深度測定を組み合わせた非線形最適化目的関数として定式化する。
• 最適化を線形化し、ガウス・ニュートン法を用いて表面形状とUAVポーズを同時に推定する。
• UAVプラットフォームからの視覚オドメトリデータを統合して、ポーズ推定の精度を向上させる。
• 本システムは、制約のない大規模環境におけるリアルタイムでマーカーレスな3次元人体モーション再構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の自律飛行型カメラが、大規模で制約のない空間において、正確かつ安定したマーカーレスモーションキャプチャを達成できるか？
• RQ2 複数の移動するカメラからの深度データを効果的に統合して、非剛性表面変形を再構築できるか？
• RQ3 UAVからの視覚オドメトリを非剛性表面追跡フレームワークに信頼性高く統合できるか？
• RQ4 本システムの再構築精度およびリアルタイム性能はどの程度か？

主な発見

• FlyCapシステムは、大規模な人体運動に伴う非剛性表面運動の正確な3次元再構築を達成した。
• ガウス・ニュートン最小化を用いた表面形状とUAVポーズの共同最適化により、追跡の安定性と精度が向上した。
• 本システムは実時間性能を備えており、実用的なモーションキャプチャ応用に適している。
• 視覚オドメトリの活用により、UAVのポーズ推定が向上し、ドリフトが低減され、統合品質が向上した。
• 定性的な結果から、多様な運動シーケンスにおいて現実的で詳細な表面再構築が得られた。
• 定量的結果から、本システムがマーカーなしで複雑な全身運動を的確に捉える能力を有していることが確認された。