[论文解读] FlyCap: Markerless Motion Capture Using Multiple Autonomous Flying Cameras

Lan Xu, Lu Fang+5 more|arXiv (Cornell University)|Oct 29, 2016

Advanced Vision and Imaging参考文献 32被引用 4

一句话总结

FlyCap 提出了一种基于三台配备 RGBD 传感器的自主飞行摄像头（UAV）的无标记动作捕捉系统，用于在大空间中追踪全身表面运动。该系统采用非刚性表面配准方法，结合视觉里程计与高斯-牛顿优化，联合估计表面形变与 UAV 位姿，实现了无需标记的高精度、实时动作重建。

ABSTRACT

Aiming at automatic, convenient and non-instrusive motion capture, this paper presents a new generation markerless motion capture technique, the FlyCap system, to capture surface motions of moving characters using multiple autonomous flying cameras (autonomous unmanned aerial vehicles(UAV) each integrated with an RGBD video camera). During data capture, three cooperative flying cameras automatically track and follow the moving target who performs large scale motions in a wide space. We propose a novel non-rigid surface registration method to track and fuse the depth of the three flying cameras for surface motion tracking of the moving target, and simultaneously calculate the pose of each flying camera. We leverage the using of visual-odometry information provided by the UAV platform, and formulate the surface tracking problem in a non-linear objective function that can be linearized and effectively minimized through a Gaussian-Newton method. Quantitative and qualitative experimental results demonstrate the competent and plausible surface and motion reconstruction results

研究动机与目标

• 实现自动、非侵入性且大规模的无标记动作捕捉。
• 解决在广阔环境中追踪复杂非刚性表面形变的挑战。
• 开发一种可同时估计多台飞行摄像头 3D 位姿与运动主体表面运动的系统。
• 利用 UAV 的视觉里程计与深度数据，实现鲁棒、实时的表面重建。

提出的方法

• 该系统使用三台配备 RGBD 相机的自主 UAV，在运动过程中捕获深度与彩色数据。
• 一种非刚性表面配准方法融合多台相机的深度数据，以追踪运动主体的形变表面。
• 将表面追踪问题建模为一个非线性优化目标函数，整合视觉里程计与深度测量数据。
• 通过高斯-牛顿法对优化问题进行线性化并求解，联合估计表面形状与 UAV 位姿。
• 该方法整合了来自 UAV 平台的视觉里程计数据，以提升位姿估计精度。
• 系统实现了在非受限、大规模环境中对人体运动的实时、无标记 3D 重建。

实验结果

研究问题

• RQ1 多台自主飞行摄像头能否在大范围非受限空间中实现准确且鲁棒的无标记动作捕捉？
• RQ2 如何有效融合多台运动相机的深度数据，以重建非刚性表面形变？
• RQ3 能否可靠地将 UAV 的视觉里程计集成到非刚性表面追踪框架中，以提升位姿估计性能？
• RQ4 该系统在重建精度与实时性能方面的表现如何？

主要发现

• FlyCap 系统在人体大规模运动过程中实现了对非刚性表面运动的高精度 3D 重建。
• 通过高斯-牛顿最小化方法联合优化表面形状与 UAV 位姿，显著提升了追踪的稳定性和精度。
• 系统表现出实时性能，适用于实际动作捕捉应用。
• 视觉里程计的使用增强了 UAV 位姿估计，减少了漂移并提升了融合质量。
• 定性结果表明，系统在多种运动序列中均能生成合理且细节丰富的表面重建。
• 定量结果证实，该系统在无标记条件下具备捕捉复杂全身运动的能力。