[논문 리뷰] View-Invariant Probabilistic Embedding for Human Pose

Jennifer J. Sun, Jiaping Zhao외 4명|arXiv (Cornell University)|2019. 12. 02.

Human Pose and Action Recognition참고 문헌 63인용 수 4

한 줄 요약

이 논문은 3D 자세 예측 없이 시점 변화에 강인한 2D 키포인트 기반 표현을 학습하는 확률적 시점 불변 자세 임베딩 모델인 Pr-VIPE를 제안한다. 임베딩을 다변량 정규분포로 모델링하여 2D에서 3D로의 투영 불확실성(ambiguity)을 반영함으로써, 교차 시점 자세 검색에서 최신 기술 수준의 성능을 달성하며, 3D 지도 없이도 행동 인식 및 영상 정렬 등의 응용에 활용할 수 있다.

ABSTRACT

Depictions of similar human body configurations can vary with changing viewpoints. Using only 2D information, we would like to enable vision algorithms to recognize similarity in human body poses across multiple views. This ability is useful for analyzing body movements and human behaviors in images and videos. In this paper, we propose an approach for learning a compact view-invariant embedding space from 2D joint keypoints alone, without explicitly predicting 3D poses. Since 2D poses are projected from 3D space, they have an inherent ambiguity, which is difficult to represent through a deterministic mapping. Hence, we use probabilistic embeddings to model this input uncertainty. Experimental results show that our embedding model achieves higher accuracy when retrieving similar poses across different camera views, in comparison with 2D-to-3D pose lifting models. We also demonstrate the effectiveness of applying our embeddings to view-invariant action recognition and video alignment. Our code is available at https://github.com/google-research/google-research/tree/master/poem.

연구 동기 및 목표

• 다양한 카메라 시점에서 일관되게 유지되는, 2D 인간 자세를 위한 압축된 시점 불변 임베딩 공간을 학습하는 것.
• 2D 자세 투영의 본질적 모호성 문제를 확률적 임베딩을 통해 입력 불확실성을 모델링함으로써 해결하는 것.
• 3D 지도나 이미지 컨텍스트 없이도 2D 키포인트 입력만으로 정확한 자세 검색 및 후속 비전 작업(예: 행동 인식, 영상 정렬)을 가능하게 하는 것.
• 2D 키포인트 임베딩만으로도 명시적인 3D 자세 예측이나 강성 정렬 후처리 없이도 시점 불변성을 달성할 수 있음을 입증하는 것.

제안 방법

• 모델은 2D 키포인트 좌표를 다변량 정규분포(평균 및 공분산)로 정의된 확률적 임베딩 공간으로 매핑하는 딥 네트워크를 사용한다.
• 임베딩 손실은 하드 네거티브 마이닝을 적용한 콘트라스트 손실을 최적화하여, 서로 다른 시점에서 유사한 자세가 임베딩 공간에서 가까워지도록 유도한다.
• 학습 데이터는 3D 자세를 투영하여 다중 시점 2D 자세를 합성함으로써 증강되며, 다양한 시점에 대한 일반화 능력을 향상시킨다.
• 모델은 Human3.6M 및 3DHP와 같은 데이터셋의 2D 키포인트 검출 결과를 기반으로 엔드 투 엔드로 훈련되며, 추론 시에는 이미지 수준의 지도나 3D 지도가 필요하지 않다.
• 확률적 수식은 불확실성 학습을 가능하게 하며, 임베딩의 분산이 클수록 2D 자세의 3D 투영 모호성이 높다는 것을 반영한다.
• 후속 작업에서는 임베딩 공간에서 마할라노비스 거리(Mahalanobis distance)를 활용해 유사도를 계산함으로써 효율적인 검색 및 정렬을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 자세 예측 없이도 2D 자세 임베딩만으로도 시점 불변 유사도를 달성할 수 있는가?
• RQ2 2D에서 3D로의 투영 모호성에서 발생하는 입력 불확실성을 임베딩 공간에서 효과적으로 모델링할 수 있는가?
• RQ3 확률적 임베딩 형식이 결정론적 임베딩에 비해 교차 시점 자세 검색 성능을 향상시키는가?
• RQ4 학습된 임베딩은 실외 환경 데이터로도 일반화되며, 효과적인 행동 인식 및 영상 정렬을 가능하게 하는가?

주요 결과

• Pr-VIPE는 3D 지도 없이도 2D 키포인트 검출 결과만을 사용하여 H3.6M 평가 서브셋에서 75.2%의 Hit@1 성능을 달성하며, 완전히 지도된 EpipolarPose(72.7% Hit@1)를 초월한다.
• 모델은 다양한 주제와 카메라 각도를 가진 3DHP 및 실외 환경 테스트 세트에서도 높은 정확도로 자세 검색을 수행함으로써, 예측되지 않은 자세와 시점에 대해서도 잘 일반화됨을 보였다.
• 확률적 임베딩 형식은 입력 모호성과 관련이 있다: 3D 투영 모호성이 높은 2D 자세일수록 임베딩의 분산이 커진다.
• Pr-VIPE는 Penn Action 데이터셋에서 영상 정렬을 효과적으로 수행하여, 명시적인 시간 정렬 없이도 서로 다른 시점의 행동 영상 간 자세 임베딩을 매칭함으로써 동기화를 이룬다.
• 2D에서 3D로의 러핑 모델에 비해 더 높은 검색 정확도를 달성하였으며, 이와 달리 쿼리 및 인덱스 쌍 간의 강성 3D 정렬이 필요하지 않다.
• 정성적 결과는 높은 신뢰도를 가진 검색 결과가 큰 시점 변화나 부분적 가림에도 불구하고 시각적으로 정확함을 보이며, 모델의 강건성을 검증한다.