[논문 리뷰] A Rotation Invariant Latent Factor Model for Moveme Discovery from Static Poses

Matteo Ruggero Ronchi, Joon Sik Kim외 1명|arXiv (Cornell University)|2016. 09. 23.

Human Pose and Action Recognition참고 문헌 27인용 수 3

한 줄 요약

이 논문은 3D 기저 자세(모드)를 2D 정적 이미지에서 임의의 시점에서 촬영한 데이터로부터 기하학적으로 정규화된 행렬 분해를 사용해 회전 불변성 잠재 요인 모델을 제안한다. 이는 시점 변화와 진정한 운동 간의 분리에 기여한다. 이 방법은 회전 불변성, 해석 가능성, 일반화 능력을 갖춘 자세 표현을 얻으며, 새로운 시점에서의 자세 재구성 및 행동 인식, 동적 추론 등의 응용 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We tackle the problem of learning a rotation invariant latent factor model when the training data is comprised of lower-dimensional projections of the original feature space. The main goal is the discovery of a set of 3-D bases poses that can characterize the manifold of primitive human motions, or movemes, from a training set of 2-D projected poses obtained from still images taken at various camera angles. The proposed technique for basis discovery is data-driven rather than hand-designed. The learned representation is rotation invariant, and can reconstruct any training instance from multiple viewing angles. We apply our method to modeling human poses in sports (via the Leeds Sports Dataset), and demonstrate the effectiveness of the learned bases in a range of applications such as activity classification, inference of dynamics from a single frame, and synthetic representation of movements.

연구 동기 및 목표

• 임의의 카메라 각도에서 촬영한 2D 정적 자세에서 인간 운동의 기본 패턴(모드)을 발견하기.
• 시점 변화와 진정한 3D 운동 변동성 간의 분리를 보장하는 데이터 기반의 회전 불변 표현 개발하기.
• 공통된 3D 기저 공간을 사용해 다양한 시점에서의 새로운 자세 재구성 지원하기.
• 활동 인식, 동적 추론, 합성 운동 생성 등의 후행 응용 분야 지원하기.
• 3D 진실값이나 수동으로 설정된 카메라 각도가 필요 없이도 해석 가능한 과잉 결정형 3D 자세 사전 제공하기.

제안 방법

• 수정된 잠재 요인 모델이 2D 관절 좌표에 행렬 분해를 수행하여 3D 기저 행렬 U와 계수 행렬 V로 분해한다.
• 기하학적 연산을 최적화 과정에 명시적으로 통합하여, 시점에 의한 변형을 모델링함으로써 회전 불변성 확보한다.
• 모델은 임의의 회전 하에서 기대되는 2D 투영과의 편차를 방지하는 정규화된 목적 함수를 사용하여 일관된 3D 기저 발견 보장한다.
• 모델은 소수의 대표 자세로 U를 초기화하고, 교차 최소 제곱법을 사용해 U와 V를 동시에 최적화한다.
• t-SNE를 사용해 고차원 자세 다각형을 시각화하고, V의 계수를 2차원 공간으로 매핑하여 이해 가능성 확보한다.
• V 계수에서 유도된 기저 자세 활성화 히트맵을 생성하여 자세 다각형 전역에서 학습된 모드의 공간 분포를 시각화한다.

실험 결과

연구 질문

• RQ1 3D 지도 없이 2D 정적 이미지에서 데이터 기반 모델이 회전 불변성 3D 기저 자세를 학습할 수 있는가?
• RQ2 학습된 기저 표현이 새로운 시점에서의 자세를 얼마나 잘 재구성할 수 있는가?
• RQ3 비회전 불변 기반 모델 대비 활동 인식 및 동적 추론 성능 향상 정도는 어느 정도인가?
• RQ4 학습된 모드가 '테니스 스트로크' 또는 '축구 슛'과 같은 인지적으로 의미 있는 인간 운동 패턴과 얼마나 잘 일치하는가?
• RQ5 모델이 합성 운동 생성 및 인간 운동의 다각형 시각화에 일반화 가능한가?

주요 결과

• 제안된 방법은 시점에 민감하지 않은 기반 모델 대비 활동 인식 성능에서 유의미하게 뛰어난 성능을 보이며, 시점 불변성의 중요성을 입증한다.
• 모델은 다양한 시점에서 학습 데이터에 포함되지 않은 자세까지도 높은 정확도로 재구성하여 일반화 능력을 확인한다.
• t-SNE 시각화 결과 유사한 운동 유형(예: '테니스 스트로크'와 '배구 블로킹')이 군집되어 있으며, '달리기'는 공간적으로 분리되어 있어 의미 있는 다각형 구조를 반영한다.
• 기저 자세 활성화 히트맵은 '배구 스트로크'가 상체 운동 영역에서 가장 활성화되어 있고, '축구 슛'은 하체 영역에서 활성화되어 직관적인 운동 의미와 일치함을 확인한다.
• 표현은 시점 변화에 대해 강건하다: t-SNE 공간에서 가까운 자세는 매우 다른 카메라 각도를 가질 수 있으며, 이는 회전 불변성을 입증한다.
• 학습된 기저를 선형 조합하여 합성 운동 생성이 가능하며, 운동 다각형 전역에서 타당한 중간 자세를 생성한다.