[논문 리뷰] Articulated Pose Estimation by a Graphical Model with Image Dependent Pairwise Relations

Xianjie Chen, Alan Yuille|arXiv (Cornell University)|2014. 07. 12.

Human Pose and Action Recognition참고 문헌 27인용 수 328

한 줄 요약

이 논문은 이미지에 따라 달라지는 상관관계(이하 IDPR)를 활용하여 공간적 추론을 향상시키는 인체 자세 추정을 위한 그래픽 모델을 제안한다. 국소 이미지 패치에서 부위 존재 여부와 상대적 관절 위치를 예측하기 위해 딥 컨volution 신경망(DCNN)을 사용함으로써, 그래픽 모델의 유연성과 DCNN의 표현 능력을 결합하여 LSP 및 FLIC에서 최신 기술 수준(SOTA) 성능을 달성하고, 재학습 없이도 Buffy 데이터셋에서 강력한 제로샷 일반화 성능을 보였다.

ABSTRACT

We present a method for estimating articulated human pose from a single static image based on a graphical model with novel pairwise relations that make adaptive use of local image measurements. More precisely, we specify a graphical model for human pose which exploits the fact the local image measurements can be used both to detect parts (or joints) and also to predict the spatial relationships between them (Image Dependent Pairwise Relations). These spatial relationships are represented by a mixture model. We use Deep Convolutional Neural Networks (DCNNs) to learn conditional probabilities for the presence of parts and their spatial relationships within image patches. Hence our model combines the representational flexibility of graphical models with the efficiency and statistical power of DCNNs. Our method significantly outperforms the state of the art methods on the LSP and FLIC datasets and also performs very well on the Buffy dataset without any training.

연구 동기 및 목표

• 로컬 이미지 컨텍스트에 적응하는 공간적 관계를 모델링하여 인체 자세 추정을 향상시키기.
• 고정된, 데이터에 의존하지 않는 상관관계 사전 지식의 한계를 해결하여, 다양한 자세에 적합한 탄력적 또는 유연한 모델을 제공하기.
• DCNN를 활용해 이미지에 따라 달라지는 특징을 추출하여 부위 검출 및 상대적 관절 위치 예측에 활용함으로써 딥 러닝과 구조적 예측을 통합하기.
• 모델을 다양한 데이터셋 간에 강력하게 일반화시키며, 특히 재학습 없이도 Buffy 데이터셋에서 제로샷 성능을 달성하기.

제안 방법

• 모델은 관절 수 K개의 트리-구조 그래픽 모델로 구성되며, 노드는 신체 부위를, 간선은 공간적 관계를 나타낸다.
• 일원 항목은 각 관절 위치 주변의 국소 이미지 패치를 기반으로 부위 존재 여부를 추정하기 위해 DCNN를 사용한다.
• 이중 항목은 이미지에 따라 달라지며, 다양한 공간적 관계 유형의 혼합으로 모델링되며, 국소 이미지 컨텍스트에서 유도된 상대 위치를 학습한다.
• 스코어 함수는 일원적 외관 항목과 이미지에 의존하는 이원적 관계 항목을 조합하며, 매개변수는 구조적 서포트 벡터 머신(Structured SVM)을 통해 학습된다.
• 공간적 관계는 평균 상대 위치와 이차 변형 항목을 포함하는 유형으로 이산화되어 국소 변동성을 모델링한다.
• DCNN는 국소 이미지 패치에서 동시에 부위 존재 여부와 이중 관계 유형을 예측하도록 훈련되어, 부위와 관계 간 공유된 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 관절 주변의 국소 이미지 패치가 관절 검출 외에도 이웃 관절의 상대적 위치를 신뢰할 만하게 예측할 수 있는가?
• RQ2 고정된 사전 지식 대신 이미지에 따라 달라지는 상관관계로 모델링할 경우 자세 추정 정확도가 향상되는가?
• RQ3 그래픽 모델과 DCNN를 융합한 하이브리드 모델이 엔드 투 엔드 딥 러닝 접근법보다 더 뛰어난 성능과 일반화 능력을 갖출 수 있는가?
• RQ4 이미지에 따라 달라지는 이중 관계를 포함할 경우 표준 벤치마크와 제로샷 설정에서 성능에 어떤 영향을 미치는가?

주요 결과

• 전체 모델에서 LSP 데이터셋에서 엄격한 PCP 점수 75.0%를 기록하여 기준 모델보다 뚜렷이 뛰어난 최신 기술 수준(SOTA) 성능을 달성했다.
• FLIC 데이터셋에서 이전 최신 기술 수준(SOTA) 방법들을 초월하여, 부위 정렬 및 공간적 추론 능력에서 뛰어난 정확도를 보였다.
• Buffy 데이터셋에서 학습 없이도 평균 PCP 92.9%를 기록하여 강력한 제로샷 일반화 능력을 입증했다.
• 제거 실험 결과, 이미지에 따라 달라지는 이중 관계(IDPR)를 제거하면 성능이 64.6% 평균 PCP로 떨어지며, 일원 항목만 사용할 경우 40.5%로 급격히 감소하여 IDPR의 핵심적 역할을 입증했다.
• Buffy에서의 PDJ 곡선은 DeepPose 및 기타 최신 기술 수준(SOTA) 방법보다 뛰어난 성능을 보였으며, 특히 높은 임계값에서 두드러져 더 나은 일반화 능력을 확인했다.
• IDPR의 성능 향상 효과는 하지 부위나 가림 상황에서 가장 두드러지게 나타나, 더 뛰어난 내성성(로버스트니)을 보여주었다.