[논문 리뷰] Pose Embeddings: A Deep Architecture for Learning to Match Human Poses

Greg Mori, Caroline Pantofaru외 5명|arXiv (Cornell University)|2015. 07. 01.

Human Pose and Action Recognition참고 문헌 34인용 수 24

한 줄 요약

이 논문은 관절 키포인트 추정을 필요로 하지 않고 직접 인간 자세를 비교할 수 있도록 자세 임베딩 공간을 학습하는 딥러닝 프레임워크를 제안한다. 트리플릿 기반 손실을 사용하여 유사한 자세가 임베딩 공간에서 가까이 위치하도록 모델을 학습하며, 오직 약한 감독을 받는 트리플릿 애너테이션(유사/비유사)만을 사용함으로써 자세 검색에서 경쟁적인 성능을 달성한다. 이는 일반적인 이미지 특징보다 우수하며, 자세 추정 모델과의 상호보완성도 보여준다.

ABSTRACT

We present a method for learning an embedding that places images of humans in similar poses nearby. This embedding can be used as a direct method of comparing images based on human pose, avoiding potential challenges of estimating body joint positions. Pose embedding learning is formulated under a triplet-based distance criterion. A deep architecture is used to allow learning of a representation capable of making distinctions between different poses. Experiments on human pose matching and retrieval from video data demonstrate the potential of the method.

연구 동기 및 목표

• 명시적인 인간 관절 키포인트 추정에 의존하지 않고 직접 자세를 비교하는 방법을 개발하기 위해.
• 유사한 자세가 가까이 위치하는 임베딩 공간을 학습하기 위해.
• 세부 관절 키포인트 애너테이션의 고비용을 줄이기 위해 오직 트리플릿 비교(유사/비유사)만을 사용하기 위해.
• 비디오에서 효율적인 자세 기반 이미지 검색 및 그룹 활동 분석을 가능하게 하기 위해.
• 학습된 임베딩이 영상 검색 및 군집화와 같은 후속 작업으로 이식 가능한지 입증하기 위해.

제안 방법

• 딥 컨volution 신경망을 트리플릿 손실을 사용하여 훈련하여, 유사한 자세가 가까이 위치하는 거리 공간에 이미지를 임bedding하는 방식이다.
• 각 훈련 트리플릿은 기준 이미지(앵커), 유사 자세의 이미지(긍정), 비유사 자세의 이미지(부정)로 구성된다.
• 트리플릿 손실은 앵커와 긍정 사이의 거리를 최소화하고 부정과의 거리를 최대화함으로써 상대적 자세 유사성을 강제한다.
• 특징 추출을 위해 ImageNet에서 미리 훈련된 수정된 Inception 아키텍처를 사용한다.
• 임베딩 공간 내의 L2 거리로 자세 유사도를 계산하여 빠른 검색을 가능하게 한다.
• 거리 융합을 통해 자세 추정 모델과 결합하여 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 딥 임베딩 네트워크는 관절 키포인트 감독 없이 약한 감독을 받는 트리플릿 애너테이션만으로 직접 자세 매칭을 학습할 수 있는가?
• RQ2 자세 검색에서 제안된 자세 임베딩 방법은 최신 자세 추정 및 일반적인 이미지 특징 기반 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ3 학습된 임베딩이 영상 검색 및 그룹 활동 군집화와 같은 후속 작업으로 얼마나 일반화되는가?
• RQ4 임베딩 기반 접근의 실패 유형은 무엇이며, 관절 기반 방법과 비교해 어떻게 다를까?
• RQ5 자세 임베딩 표현은 자세 추정 출력과 효과적으로 융합되어 검색 정확도를 향상시킬 수 있는가?

주요 결과

• 제안된 자세 임베딩 방법은 콘텐츠 유사도를 우선시하는 일반적인 ImageNet 특징보다 자세 검색에서 뛰어난 성능을 보였다.
• 모델는 오직 트리플릿 애너테이션만을 요구함에도 불구하고, 전체 관절 회귀 모델(Deep Pose) 수준의 경쟁적 정량적 성능을 달성했다.
• 정성적 결과에서는 임베딩이 합리적인 자세 매칭을 생성하지만, 앞뒤 뒤집힘은 여전히 흔한 오류 케이스이다.
• 학습된 임베딩은 관절 기반 방법과 상호보완적이다: 둘을 융합하면 개별적으로 사용할 때보다 검색 성능이 향상된다.
• 모델는 영상 검색 및 그룹 활동 군집화로 잘 일반화되어, 학습된 표현의 이식 가능성은 입증되었다.
• 세부 관절 키포인트 레이블링이 필요 없이 상대적 자세 유사도 판단만으로도 애너테이션 비용을 크게 줄였다.