[논문 리뷰] Articulated Pose Estimation Using Hierarchical Exemplar-Based Models

Jiongxin Liu, Yinxiao Li외 2명|arXiv (Cornell University)|2015. 12. 13.

Human Pose and Action Recognition인용 수 3

한 줄 요약

이 논문은 깊이 합성 신경망(DCNNs)을 통합한 계층적 예시 기반 모델을 제안하여, 다양한 해상도의 공간적 제약 조건과 부위 간 관계를 활용해 관절 구조적 자세 추정을 수행한다. DCNN를 통한 외관 모델링과 계층적 예시를 통한 공간적 추론을 결합함으로써, Leeds Sports 및 CUB-200-2011 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하여 이전 방법들보다 부위 정확도가 높다.

ABSTRACT

Exemplar-based models have achieved great success on localizing the parts of semi-rigid objects. However, their efficacy on highly articulated objects such as humans is yet to be explored. Inspired by hierarchical object representation and recent application of Deep Convolutional Neural Networks (DCNNs) on human pose estimation, we propose a novel formulation that incorporates both hierarchical exemplar-based models and DCNNs in the spatial terms. Specifically, we obtain more expressive spatial models by assuming independence between exemplars at different levels in the hierarchy; we also obtain stronger spatial constraints by inferring the spatial relations between parts at the same level. As our method strikes a good balance between expressiveness and strength of spatial models, it is both effective and generalizable, achieving state-of-the-art results on different benchmarks: Leeds Sports Dataset and CUB-200-2011.

연구 동기 및 목표

• 사람이나 새와 같은 높이 변형 가능한 물체에서 정확한 관절 구조적 자세 추정 문제를 해결하기 위해.
• 기존에 훈련 데이터가 제한되어 있어 높이 관절이 구조화된 물체에서 성능이 떨어지는 예시 기반 모델의 표현력을 향상시키기 위해.
• 딥 러닝 기반 외관 모델(DCNNs)과 계층적 공간 제약 조건을 통합하여 더 강력하고 일반화 능력이 뛰어난 자세 추정을 가능하게 하기 위해.
• 다양한 해상도 수준에서 모델의 표현력과 공간 일관성을 균형 잡는 효율적인 추론 프레임워크를 개발하기 위해.

제안 방법

• 원자 부위(예: 관절)가 가장 세밀한 수준에 위치한 계층적 트리 구조를 사용하며, 더 높은 수준에서는 원자 부위의 조합으로 구성된 복합 부위(예: 사지)를 형성한다.
• 동일 수준의 부위 간 공간 관계는 DCNN을 사용해 상대적 오프셋을 예측하고, 서로 다른 수준 간의 관계는 예시 기반 추론을 통해 부모-자식 계층 관계를 강제한다.
• 각 수준에서 가능한 부위 구성 방식을 예시로 인코딩하며, 서로 다른 수준의 예시 간 독립성을 가정함으로써 표현력을 향상시킨다.
• 외관 점수(예: DCNN에서 도출)와 계층적 예시를 통한 공간 일관성 점수를 조합하는 점수 함수를 사용하여 부위 위치를 동시에 최적화함으로써 공간 제약 조건을 강제한다.
• 계층을 거꾸로 하향식으로 추론하여, 더 넓은 수준에서 더 세밀한 수준으로 제약 조건을 전파함으로써 공간 일관성을 유지한다.
• 기존 방법과 달리 각 부위를 별도로 최적화하는 것이 아니라, 그룹화된 부위 최적화를 통해 부위 위치를 동시에 개선한다.

실험 결과

연구 질문

• RQ1 높이 관절이 구조화된 물체(예: 사람)에 대해 계층적 구조를 도입함으로써 예시 기반 모델의 표현력을 향상시킬 수 있는가?
• RQ2 깊이 합성 신경망(DCNNs)을 어떻게 효과적으로 관절 구조적 자세 추정의 공간 모델링에 통합할 수 있는가?
• RQ3 다중 수준의 공간 제약 조건과 DCNN 기반 외관 모델을 통합하면 정확도와 일반화 능력이 향상되는가?
• RQ4 높은 변형이 발생하는 상황에서도 계층적 예시 기반 프레임워크가 비계층적 또는 트리 기반 모델보다 부위 정확도에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 Leeds Sports 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하여 대부분의 신체 부위에서 검출된 관절 비율(PDJ) 측면에서 이전 방법들을 능가한다.
• CUB-200-2011 새 데이터셋에서는 가장 높은 PCP(부위 신뢰도 정밀도) 점수를 기록하였으며, Ours-full이 DCNN-CoE 및 Part-pair 기반 방법을 모두 앞서나갔다.
• DCNN 기반 외관 모델만을 사용하는 Ours-base 버전도 기존 방법(예: (?))보다 대부분의 관절에서 뛰어난 성능을 보이며, DCNN의 부위 검출 능력이 뛰어나다는 것을 입증한다.
• Ours-base에 다중 수준 공간 모델링을 통합한 전체 방법(Ours-full)은 특히 다리나 날개처럼 변형이 심한 부위에서 뚜렷한 성능 향상을 보였다.
• 정성적 결과에서는 다양한 자세, 시점, 변형 상황에서도 안정적인 부위 정확도를 보였으며, 극단적인 가림이나 노이즈로 인한 실패 사례는 소수에 그쳤다.
• 이 방법은 효율적이며, 경쟁 방법에서 요구하는 복잡한 아키텍처가 필요 없이 표준 DCNN 모델과도 호환된다.