[논문 리뷰] Model-based Outdoor Performance Capture

Nadia Robertini, Dan Casas외 3명|arXiv (Cornell University)|2016. 10. 21.

Human Pose and Action Recognition참고 문헌 48인용 수 7

한 줄 요약

이 논문은 3D 가우시안의 통합 암묵적 표현을 사용하여 통제되지 않은 실외 환경에서 고해상도 인간 성능 캡처를 위한 새로운 모델 기반 방법을 제안한다. 두 단계—먼저 거친 자세 추정, 그 다음 '경계 가우시안( Border Gaussians)'을 사용한 정밀한 형태 보정—에서 뼈대 자세와 비강성 표면 형태를 동시에 최적화함으로써, 명시적 실루엣 분할 없이도 실외에서 최신 기술 수준의 재구성 품질을 달성하며, 이는 이전 방법의 실내 성능과 동등하다.

ABSTRACT

We propose a new model-based method to accurately reconstruct human performances captured outdoors in a multi-camera setup. Starting from a template of the actor model, we introduce a new unified implicit representation for both, articulated skeleton tracking and nonrigid surface shape refinement. Our method fits the template to unsegmented video frames in two stages - first, the coarse skeletal pose is estimated, and subsequently non-rigid surface shape and body pose are jointly refined. Particularly for surface shape refinement we propose a new combination of 3D Gaussians designed to align the projected model with likely silhouette contours without explicit segmentation or edge detection. We obtain reconstructions of much higher quality in outdoor settings than existing methods, and show that we are on par with state-of-the-art methods on indoor scenes for which they were designed

연구 동기 및 목표

• 변동하는 조명 조건과 동적 배경으로 인해 전통적인 실루엣 기반 방법이 실패하는 통제되지 않은 실외 장면에서 고품질 인간 성능 캡처의 과제를 해결하기 위해.
• 전경 분할이나 윤곽선 검출을 명시적으로 요구하지 않고도 관절 구조 자세와 비강성 표면 기하학을 정확하게 재구성하기 위해.
• 뼈대 자세와 표면 형태를 동시에 모델링할 수 있도록 3D 가우시안을 기반으로 한 통합 암묵적 표현을 개발하여 최적화 및 시간적 일관성을 향상시키기 위해.
• 실외 환경에서 기존 방법보다 뚜렷하게 뛰어난 성능을 보이며, 同시에 최신 기술 수준의 실내 방법과 동등한 재구성 품질을 달성하기 위해.
• 복잡한 배경과 동적 조명 조건을 가진 실제 실외 시퀀스에서의 강인성과 정확성을 입증하기 위해.

제안 방법

• 이 방법은 두 단계의 피팅 프로세스를 사용한다: 먼저 부피형 3D 가우시안을 이용해 거친 뼈대 자세를 최적화하고, 그 다음 자세와 비강성 표면 형태를 동시에 보정한다.
• 3D 가우시안 기반의 통합 암묵적 표현은 거친 몸체 형태와 정밀한 표면 기하학을 모두 모델링하여, 미분 가능하고 효율적인 최적화를 가능하게 한다.
• 표면 보정 단계에서는 '경계 가우시안( Border Gaussians)'을 도입한다. 이는 명시적 분할 없이도 투영된 모델 실루엣이 실제 윤곽 영역에 정렬되도록 설계된 특수한 3D 가우시안 조합이다.
• 각 입력 영상은 암묵적 표현으로 변환되어 관측된 실루엣과 예측된 실루엣 간의 일관성 있는 비교를 가능하게 한다.
• 목적 함수는 미분 가능 렌더링과 암묵적 함수 최적화를 사용하여, 투영된 모델과 입력 영상 간의 광학적 및 기하학적 불일치를 최소화한다.
• 이 방법은 사전에 실루엣을 계산하거나 배경 제거를 하지 않은 영상 프레임을 대상으로 하여, 사전에 계산된 실루엣이나 배경 제거에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 3D 가우시안의 통합 암묵적 표현은 실루엣이 분리되지 않은 실외 영상에서 뼈대 자세와 비강성 표면 형태를 정확하게 동시에 최적화하는 데 효과적인가?
• RQ2 '경계 가우시안( Border Gaussians)'은 명시적 윤곽선 검출이나 분할 없이도 올바른 실루엣 윤곽선 쪽으로 표면 보정을 효과적으로 이끌 수 있는가?
• RQ3 두 단계 피팅 파이프라인(거친 자세 추정 → 동시 보정)은 단일 단계 또는 분할에 의존하는 방법에 비해 도전적인 실외 장면에서 재구성 품질을 어떻게 향상시키는가?
• RQ4 이 모델 기반 접근법은 동적 배경과 변동하는 조명 조건이 있는 실외 환경에서 최신 기술 수준의 실내 방법과 동등한 성능을 달성할 수 있는가?
• RQ5 이 방법은 수동 조작 없이도 느슨한 옷차림과 복잡한 변형이 있는 시퀀스에서 시간적 일관성과 높은 기하학적 정밀도를 유지할 수 있는가?

주요 결과

• 메시 보정 후 캐서럴 시퀀스에서는 F1 스코어가 0.9362 ± 0.0033, 유니캠퍼스 시퀀스에서는 0.9223 ± 0.0083를 기록하여, Stage-I 결과보다 뚜렷이 뛰어나다.
• 알려진 색상 배경이 있는 스커트 시퀀스에서는 F1 스코어가 0.9676 ± 0.0056를 기록하여, Gall 등(0.9683 ± 0.0045)의 실루엣 기반 방법과 유사한 성능을 보였다.
• 보정 단계에서 표면 가우시안과 경계 가우시안을 모두 사용할 경우, Stage-I만 사용한 경우에 비해 실루엣 겹침 영역에서 일관되고 뚜렷한 향상이 있었다.
• 정성적 결과에서는 움직이는 배경이 있는 복잡한 실외 장면에서도 노이즈나 기하학적 잡음 없이 시간적으로 일관된 고해상도 3D 메시를 재현하였다.
• 원본 영상 재투영을 통해 질감이 있는 모델을 성공적으로 재구성하여, 정확한 표면 기하학과 외관 정렬을 입증하였다.
• 기존 모델 기반 방법이 실패하는 실외 환경에서도 높은 품질의 재구성을 달성하였으며, 동시에 실내 최신 기술 수준의 방법과 동등한 성능을 보였다.