[논문 리뷰] Panoptic Studio: A Massively Multiview System for Social Interaction Capture

Hanbyul Joo, Tomas Simon외 11명|arXiv (Cornell University)|2016. 12. 09.

Human Pose and Action Recognition인용 수 16

한 줄 요약

이 논문은 521대의 동기화된 카메라를 갖춘 대규모 다중 시점 시스템인 패노프틱 스튜디오를 제안한다. 이 시스템은 마커 없이 자연스러운 사회적 상호작용을 하는 여러 사람의 전체 신체 3D 운동을 캡처한다. 수많은 시점에서 약한 2D 자세 검출을 융합하고 시간에 따라 궤적을 정제함으로써, 최대 8명의 사람에 대해 강인하고 장기적인, 음영 처리에 강건한 3D 운동 재구성을 달성하며, 마커가 없는 사회적 상호작용 캡처 분야의 새로운 기준을 설정한다.

ABSTRACT

We present an approach to capture the 3D motion of a group of people engaged in a social interaction. The core challenges in capturing social interactions are: (1) occlusion is functional and frequent; (2) subtle motion needs to be measured over a space large enough to host a social group; (3) human appearance and configuration variation is immense; and (4) attaching markers to the body may prime the nature of interactions. The Panoptic Studio is a system organized around the thesis that social interactions should be measured through the integration of perceptual analyses over a large variety of view points. We present a modularized system designed around this principle, consisting of integrated structural, hardware, and software innovations. The system takes, as input, 480 synchronized video streams of multiple people engaged in social activities, and produces, as output, the labeled time-varying 3D structure of anatomical landmarks on individuals in the space. Our algorithm is designed to fuse the "weak" perceptual processes in the large number of views by progressively generating skeletal proposals from low-level appearance cues, and a framework for temporal refinement is also presented by associating body parts to reconstructed dense 3D trajectory stream. Our system and method are the first in reconstructing full body motion of more than five people engaged in social interactions without using markers. We also empirically demonstrate the impact of the number of views in achieving this goal.

연구 동기 및 목표

• 자신감 있는 사회적 상호작용을 포함한 다수의 사람에 대한 캡처 과제를 해결하기 위해, 심한 음영, 큰 공간 척도, 인간의 외형과 구성의 높은 다양성과 같은 문제를 다룬다.
• 사회 그룹의 3D 운동 캡처에서 신체 마커, 사전 3D 템플릿, 또는 개인별 가정을 제거한다.
• 다양한 시점의 수를 늘림으로써 강인성과 정밀도를 향상시키는 스케일러블하고 모듈러한 다중 시점 캡처 시스템을 설계한다.
• 전체 신체 3D 운동 레이블이 부여된 3시간 이상의 대규모 공개 데이터셋을 제작한다.

제안 방법

• 5.49m 지오데식 도메인에 분포된 480대의 VGA, 31대의 HD, 10대의 Kinect v2 RGB+D 카메라를 사용하여 다양한 각도에서 동기화된 영상 스트림을 캡처한다.
• 각 시점에서 약한 2D 인간 자세 검출기를 사용하여 신체 랜드마크를 검출하고, 이를 시점 간 공간 투표를 통해 초기 3D 뼈대 제안을 생성한다.
• 시간적 정제 프레임워크는 조밀한 3D 궤적 스트림을 연결하여 신체 부위 간의 연관성을 확립함으로써 일관성과 오류 감소를 향상시킨다.
• 시간적 일관성 모델링을 통해 오차 누적 문제를 방지함으로써, 장기간 캡처(예: 10분 이상) 시 드리프트 없이도 가능하게 한다.
• 3D 템플릿, 신체 형상 사전 지식, 표준 자세에 의존하지 않고 전체 신체 3D 운동을 재구성함으로써 외형과 구조적 변화에 강건하다.
• 공간 투표와 시간적 궤적 연관을 활용하여 음영과 왼쪽/오른쪽 사지 혼동과 같은 모호함을 해결한다.

실험 결과

연구 질문

• RQ1 시점 수를 늘일수록 복잡한 사회적 상호작용에서 마커 없는 3D 운동 캡처의 정확도와 강인성에 어떤 영향을 미치는가?
• RQ2 3D 템플릿 없이도 다수의 시점에서 약한 2D 자세 검출기를 효과적으로 융합하여 신뢰할 수 있는 3D 뼈대 재구성을 달성할 수 있는가?
• RQ3 시간적 궤적 연관이 장기적이고 음영이 많은 장면에서 3D 운동 재구성의 일관성과 안정성에 얼마나 기여하는가?
• RQ4 다양한 신체 형상, 크기, 자세를 가진 다양한 주체들이 자연스럽고 통제되지 않은 사회적 환경에서 이 시스템의 성능은 어떠한가?

주요 결과

• 시스템은 마커 없이 자연스러운 사회적 상호작용에서 최대 8명의 사람에 대해 전체 신체 3D 운동을 재구성하며, 10분 이상의 장기적인 시간적 일관성을 확보한다.
• 실험 결과는 시점 수를 늘릴수록 성능 향상이 뚜렷하게 나타나며, 음영 내성과 정확도 면에서 해상도는 높지만 시점 수가 적은 시스템보다 뛰어나다.
• 어린이가 완전히 음영에 가려지거나 2D 검출에서 사지가 혼동되는 등 심한 음영 상황에서도 강인한 재구성을 달성한다.
• 시스템의 성능은 주로 기초 2D 자세 검출기의 신뢰성에 의해 제한되며, 특히 이국적인 자세나 왼쪽/오른쪽 사지를 일관되게 구분하는 데 어려움이 있다.
• 제작된 데이터셋에는 521개 시점에서 1억 5300만 개의 레이블된 자세 인스턴스가 포함되어 있으며, 사회적 행동 학습 및 분석에 적합한 풍부하고 다양한, 시간적으로 일관된 데이터를 제공한다.
• 이 시스템은 2D 검출기 개선을 위한 훈련 및 2D 얼굴 랜드마크 검출기를 활용한 3D 얼굴 재구성으로의 다중 시점 접근 확장과 같은 새로운 응용을 가능하게 한다.