[논문 리뷰] 4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras

Yuxiang Zhang, Liang An외 4명|arXiv (Cornell University)|2020. 02. 28.

Human Pose and Action Recognition참고 문헌 40인용 수 6

한 줄 요약

이 논문은 5대의 RGB 카메라를 사용하여 2D 해석, 다중 시점 매칭, 시간적 추적를 통합한 4차원 연관 그래프 프레임워크를 통해 실시간 다인원 운동 캡처 시스템을 제안한다. 이 방법은 히우리스틱 4D 지방 번들 해석과 번들 크루스칼 알고리즘을 사용하여 효율적인 최적화를 수행하며, 높은 정확도로 5인용 시나리오에서 30fps 성능을 달성하여 외관 정보에 의존하지 않는 최신 기술을 능가한다.

ABSTRACT

This paper contributes a novel realtime multi-person motion capture algorithm using multiview video inputs. Due to the heavy occlusions in each view, joint optimization on the multiview images and multiple temporal frames is indispensable, which brings up the essential challenge of realtime efficiency. To this end, for the first time, we unify per-view parsing, cross-view matching, and temporal tracking into a single optimization framework, i.e., a 4D association graph that each dimension (image space, viewpoint and time) can be treated equally and simultaneously. To solve the 4D association graph efficiently, we further contribute the idea of 4D limb bundle parsing based on heuristic searching, followed with limb bundle assembling by proposing a bundle Kruskal's algorithm. Our method enables a realtime online motion capture system running at 30fps using 5 cameras on a 5-person scene. Benefiting from the unified parsing, matching and tracking constraints, our method is robust to noisy detection, and achieves high-quality online pose reconstruction quality. The proposed method outperforms the state-of-the-art method quantitatively without using high-level appearance information. We also contribute a multiview video dataset synchronized with a marker-based motion capture system for scientific evaluation.

연구 동기 및 목표

• 다중 시점 영상에서 심한 가림을 겪는 상황에서도 실시간으로 고해상도의 다인원 운동 캡처를 수행하는 데 도전하는 것.
• 각 시점의 해석, 다중 시점 매칭, 시간적 추적를 단일 최적화 프레임워크로 통합하여 순차적 처리의 한계를 극복하는 것.
• 노이즈가 많은 검출과 복잡한 상호작용에 강건하면서도 실시간 성능(30fps)을 유지를 하는 것.
• 과학적 평가를 위해 마커 기반 참값과 동기화된 새로운 다중 시점, 다인원 데이터셋을 제공하는 것.

제안 방법

• 2D 공간, 1D 시점, 1D 시간 차원을 동일하게 취급하는 4차원 연관 그래프를 제안하며, 노드는 2D 관절 후보와 이전 프레임의 3D 관절을 나타낸다.
• 이미지 특징 신뢰도, 에피폴라 제약 조건, 이전 프레임의 시간적 일관성을 조합한 신뢰도 가중치를 갖는 엣지를 정의한다.
• 다양한 시점과 시간에 걸쳐 후보 지방 세그먼트를 효율적으로 식별하기 위해 히우리스틱 4D 지방 번들 해석 알고리즘을 제안한다.
• 수정된 최소 스패닝 트리 접근 방식을 사용하여 4D 지방 번들을 조립하여 완전한 뼈대를 구성하는 번들 크루스칼 알고리즘을 도입한다.
• 이미지, 스테레오, 시간적 신호를 동시에 균형 잡는 에너지 함수를 사용하여 전체 4D 그래프를 최적화함으로써 강건성을 확보한다.
• 해석, 매칭, 추적의 동시에 개선이 가능한 통합 그래프 최적화 전략을 적용하여 순차적 단계에서의 오류 전파를 방지한다.

실험 결과

연구 질문

• RQ1 통합된 4D 그래프 프레임워크가 다인원 운동 캡처의 정확도와 효율성을 향상시키기 위해 동시에 해석, 매칭, 추적을 최적화할 수 있는가?
• RQ2 오직 RGB 카메라만을 사용하여 심한 가림이 발생하는 고밀도 다인원 시나리오에서 실시간 성능(30fps)을 달성할 수 있는가?
• RQ3 4D 연관 그래프가 순차적 2단계 또는 3단계 파이프라인에 비해 정확도와 강건성 면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 고수준의 외관 정보에 의존하지 않고도 고품질의 3D 자세 재구성을 달성할 수 있는가?

주요 결과

• 제안된 방법은 Shelf 데이터셋에서 평균 PCP 97.6%를 달성하여 외관 정보를 사용하지 않는 최신 기술 [14] (91.1% PCP)를 능가한다.
• 저자들이 기여한 신규 데이터셋에서, 방법은 90.2% 리콜과 88.5% 정밀도를 기록하며, 이중 단계 파이프라인과 추적 없이 기반 모델에 비해 뚜렷한 성능 향상을 보였다.
• 비디오 클립(02:55–03:30)을 통해 심한 가림과 밀접한 상호작용 상황에서도 높은 정확도를 유지함을 입증하였으며, 이는 상단에서 내려다보는 방법이 잘못된 검출로 실패하는 상황을 보여준다.
• 단절 실험 결과에서 추적 엣지를 제거하면 성능이 저하됨(93.4% PCP 대비 최종 방법의 97.6% PCP)을 확인하여 시간적 일관성의 중요성을 입증한다.
• 4D 그래프 구성 덕분에 오직 5대의 카메라만으로도 실시간으로 30fps 동작이 가능하여 실생활 산업 응용에 적합하다.
• 각 시점의 해석 오류에 강건함을 입증하였으며, 이는 한 시점에서 잘못된 해석이 3D 자세 추정에 심각한 영향을 주지 않는다는 두 시점 재구성 실험 결과에서 확인된다.