[논문 리뷰] FlyCap: Markerless Motion Capture Using Multiple Autonomous Flying Cameras

Lan Xu, Lu Fang외 5명|arXiv (Cornell University)|2016. 10. 29.

Advanced Vision and Imaging참고 문헌 32인용 수 4

한 줄 요약

FlyCap는 RGBD 센서를 장착한 세 대의 자율 비행 카메라(UAV)를 사용하여 대규모 공간에서 전체 신체 표면 운동을 마커 없이 추적하는 마커리스 동작 캡처 시스템을 제안한다. 비정형 표면 정렬 방법과 시각적 오도메트리, 가우스-뉴턴 최적화를 결합하여 표면 변형과 UAV 자세를 동시에 추정함으로써, 마커 없이 정확하고 실시간으로 동작 재구성을 구현한다.

ABSTRACT

Aiming at automatic, convenient and non-instrusive motion capture, this paper presents a new generation markerless motion capture technique, the FlyCap system, to capture surface motions of moving characters using multiple autonomous flying cameras (autonomous unmanned aerial vehicles(UAV) each integrated with an RGBD video camera). During data capture, three cooperative flying cameras automatically track and follow the moving target who performs large scale motions in a wide space. We propose a novel non-rigid surface registration method to track and fuse the depth of the three flying cameras for surface motion tracking of the moving target, and simultaneously calculate the pose of each flying camera. We leverage the using of visual-odometry information provided by the UAV platform, and formulate the surface tracking problem in a non-linear objective function that can be linearized and effectively minimized through a Gaussian-Newton method. Quantitative and qualitative experimental results demonstrate the competent and plausible surface and motion reconstruction results

연구 동기 및 목표

• 마커 없이 자동으로 비침습적이고 대규모의 동작 캡처를 가능하게 하기 위해.
• 넓은 환경에서 전체 신체 운동 중 복잡한 비정형 표면 변형을 추적하는 과제를 해결하기 위해.
• 다중 비행 카메라의 3차원 자세와 움직이는 대상의 표면 운동을 동시에 추정하는 시스템을 개발하기 위해.
• UAV에서 얻은 시각적 오도메트리와 깊이 데이터를 활용하여 강인하고 실시간 표면 재구성을 가능하게 하기 위해.

제안 방법

• 시스템은 각각 RGBD 카메라를 탑재한 세 대의 자율 UAV를 사용하여 운동 중 깊이 및 색상 데이터를 캡처한다.
• 비정형 표면 정렬 방법이 다중 카메라의 깊이 데이터를 융합하여 움직이는 대상의 변형 표면을 추적한다.
• 표면 추적 문제는 시각적 오도메트리와 깊이 측정을 통합한 비선형 최적화 목적 함수로 공식화된다.
• 최적화는 선형화되어 가우스-뉴턴 방법을 사용하여 표면 형태와 UAV 자세를 동시에 추정한다.
• UAV 플랫폼에서 얻은 시각적 오도메트리 데이터가 자세 추정 정확도를 향상시키기 위해 통합된다.
• 시스템은 제약 없고 대규모 환경에서 실시간으로 마커리스 3차원 인간 동작 재구성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 자율 비행 카메라가 대규모 제약 없는 공간에서 정확하고 강인한 마커리스 동작 캡처를 달성할 수 있는가?
• RQ2 움직이는 다중 카메라에서 얻은 깊이 데이터를 효과적으로 융합하여 비정형 표면 변형을 재구성할 수 있는가?
• RQ3 UAV에서의 시각적 오도메트리가 비정형 표면 추적 프레임워크에 신뢰성 있게 통합되어 자세 추정을 향상시킬 수 있는가?
• RQ4 재구성 정확도와 실시간 성능 측면에서 시스템의 성능은 어떠한가?

주요 결과

• FlyCap 시스템은 대규모 인간 운동 중 비정형 표면 운동의 정확한 3차원 재구성을 달성한다.
• 가우스-뉴턴 최소화를 통한 표면 형태와 UAV 자세의 공동 최적화가 추적 안정성과 정확도를 향상시킨다.
• 시스템은 실시간 성능을 보이며 실용적 동작 캡처 응용에 적합하다.
• 시각적 오도메트리의 사용은 UAV 자세 추정을 향상시켜 드리프트를 감소시키고 융합 품질을 향상시킨다.
• 정성적 결과는 다양한 운동 시퀀스에서 타당하고 세밀한 표면 재구성을 보여준다.
• 정량적 결과는 마커 없이도 복잡한 전체 신체 운동을 효과적으로 캡처할 수 있음을 확인한다.