[논문 리뷰] Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video

Hao Jiang, Kristen Grauman|arXiv (Cornell University)|2016. 03. 24.

Human Pose and Action Recognition참고 문헌 14인용 수 10

한 줄 요약

이 논문은 대부분의 신체 부위가 보이지 않는 이석 시각 영상에서 전체 3D 신체 자세를 추정하는 새로운 방법을 제안한다. 동적 운동 서명과 정적 환경 구조를 활용해 각 프레임에서 자세를 추론하고, 비모수적 자세 역학과 동적 프로그래밍을 사용해 시퀀스를 최적화함으로써, 기존 딥러닝 기반 모델보다 최대 6cm의 평균 관절 오차 향상으로 최신 기술 수준을 달성한다. 이는 새로운 주제에 대해 검증된 결과이다.

ABSTRACT

Understanding the camera wearer's activity is central to egocentric vision, yet one key facet of that activity is inherently invisible to the camera--the wearer's body pose. Prior work focuses on estimating the pose of hands and arms when they come into view, but this 1) gives an incomplete view of the full body posture, and 2) prevents any pose estimate at all in many frames, since the hands are only visible in a fraction of daily life activities. We propose to infer the "invisible pose" of a person behind the egocentric camera. Given a single video, our efficient learning-based approach returns the full body 3D joint positions for each frame. Our method exploits cues from the dynamic motion signatures of the surrounding scene--which changes predictably as a function of body pose--as well as static scene structures that reveal the viewpoint (e.g., sitting vs. standing). We further introduce a novel energy minimization scheme to infer the pose sequence. It uses soft predictions of the poses per time instant together with a non-parametric model of human pose dynamics over longer windows. Our method outperforms an array of possible alternatives, including deep learning approaches for direct pose regression from images.

연구 동기 및 목표

• 이석 영상에서 대부분의 신체 부위가 보이지 않을 때 사람의 전체 3D 신체 자세를 추정하는 문제를 해결하기 위해.
• 다중 카메라 설정이나 광범위한 계산 자원 없이도 단일 가슴에 장착된 카메라만으로 '보이지 않는' 자세를 추론할 수 있는 방법을 개발하기 위해.
• 프레임 수준의 예측과 인간 운동 역학의 시간적 모델링을 통합해 자세 추정 정확도를 향상시키기 위해.
• 신체 부위가 자주 가림을 겪는 제약 없는 실생활 환경에서도 견고한 자세 추정을 가능하게 하기 위해.
• 활동 이해 및 건강 모니터링과 같은 이석 시각 응용 분야에 실용적이고 효율적인 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 이중 단계 접근 방식을 사용한다: 첫 번째 단계에서는 동적 운동 서명과 정적 환경 구조 단서를 이용해 각 양자화된 3D 자세의 확률을 추정한다.
• 자세 변화(예: 일어나기, 앉기)와 관련된 운동 패턴을 포착하기 위해 환경에 영향을 받지 않는 동적 호모그래피 특징을 추출한다.
• 학습 시퀀스에서 학습된 비모수적 인간 자세 역학 모델을 통해 시간에 따른 타당한 자세 전이를 표현한다.
• 전역 최적화 단계에서 동적 프로그래밍을 사용해 예시 학습 시퀀스를 통해 최소 비용의 자세 경로를 찾으며, 시간적 사전 지식을 통해 프레임 수준의 예측을 정규화한다.
• 최종 자세 시퀀스는 프레임 수준 신뢰도 점수와 시간적 일관성을 조합한 비용 함수를 최소화하여 계산된다.
• 이 방법은 효율적이며 약 0.5초의 프레임당 처리 속도를 보이며, 다중 카메라 하드웨어나 장시간 처리가 필요하지 않다.

실험 결과

연구 질문

• RQ1 대부분의 신체 부위가 보이지 않는 이석 영상에서 3D 신체 자세를 정확하게 추정할 수 있는가?
• RQ2 직접 관찰되지 않는 상황에서 동적 운동 서명과 정적 환경 구조가 자세 추론에 충분한 단서를 제공할 수 있는가?
• RQ3 자세 역학의 시간적 모델링이 시퀀스 내 프레임 수준의 자세 예측 정확도를 향상시킬 수 있는가?
• RQ4 학습 중에 볼 수 없었던 새로운 주제와 환경으로 일반화했을 때 이 방법의 성능은 어떠한가?
• RQ5 이 방법이 이석 영상 데이터로 훈련된 직접적인 딥러닝 회귀 방법보다 우월한 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 새로운 주제와 환경에서 평균 관절 오차 19.9 cm (NAvgAll)과 23.6 cm (NAvg(W+A))를 기록했으며, 표 2의 모든 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 동일 주제이지만 다른 환경에서의 테스트에서는 평균 오차 17.2 cm (NAvgAll)를 기록했으며, 다음으로 우수한 방법보다 10cm 이상 우수했다.
• 발목과 무릎에 대해 AlwaysStanding 베이스라인 대비 평균 6cm의 오차 감소를 기록하여 세밀한 자세 추정 능력을 입증했다.
• 지상 진술이 없는 과도한 외부 시퀀스에서도, 그림 10의 측면 비교를 통해 타당하고 일관된 3D 자세 예측을 생성했다.
• 이 방법은 도메인 이동에 대해 강건하며, 새로운 주제와 환경으로의 일반화 성능이 베이스라인보다 훨씬 낮은 성능 저하를 보였다.
• 실패 사례는 주로 모호한 입력에서 기인한다—예를 들어 이석 시각에 영향을 주지 않는 팔 자세나 일어나기와 앉기 자세의 혼동—이로 인해 기능 향상 여지가 있음을 시사한다.