[논문 리뷰] Attribute And-Or Grammar for Joint Parsing of Human Attributes, Part and Pose

Seyoung Park, Bruce Xiaohan Nie외 1명|arXiv (Cornell University)|2016. 05. 06.

Human Pose and Action Recognition참고 문헌 47인용 수 10

한 줄 요약

이 논문은 계층적이고 해석 가능한 파싱 그래프를 사용하여 인간의 자세, 부위 정렬, 속성을 동시에 추론하는 속성 및-또는 문법(A-AOG) 모델을 제안한다. 어휘적 구조, 의존성, 속성 문법을 통합함으로써, 부위, 자세, 속성 간에 동시에 일관성 있게 추론할 수 있도록 하며, 특히 다수의 사람이 있는 복잡한 환경에서도 자세 추정 및 속성 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents an attribute and-or grammar (A-AOG) model for jointly inferring human body pose and human attributes in a parse graph with attributes augmented to nodes in the hierarchical representation. In contrast to other popular methods in the current literature that train separate classifiers for poses and individual attributes, our method explicitly represents the decomposition and articulation of body parts, and account for the correlations between poses and attributes. The A-AOG model is an amalgamation of three traditional grammar formulations: (i) Phrase structure grammar representing the hierarchical decomposition of the human body from whole to parts; (ii) Dependency grammar modeling the geometric articulation by a kinematic graph of the body pose; and (iii) Attribute grammar accounting for the compatibility relations between different parts in the hierarchy so that their appearances follow a consistent style. The parse graph outputs human detection, pose estimation, and attribute prediction simultaneously, which are intuitive and interpretable. We conduct experiments on two tasks on two datasets, and experimental results demonstrate the advantage of joint modeling in comparison with computing poses and attributes independently. Furthermore, our model obtains better performance over existing methods for both pose estimation and attribute prediction tasks.

연구 동기 및 목표

• 흑상자이자 독립적인 분류기의 한계를 극복하기 위해 인간의 자세, 부위, 속성을 동시에 추론할 수 있는 명시적이고 해석 가능한 모델을 개발한다.
• 자세와 속성 간의 오류 전파 문제를 해결하기 위해 자세와 속성 간에 닫힌 루프이자 반복적인 추론을 가능하게 한다.
• 상향식 및 하향식 정보 흐름을 지원하는 통합된 그래픽 구조를 통해 속성과 신체 부위 간의 상관관계를 모델링한다.
• 부위와 속성 간 상호 제약 조건과 일관성을 활용하여 자세 추정 및 속성 예측 성능을 향상시킨다.
• 더 큰 스케일의 关键점 애너테이션에 의존하는 것을 줄이고, 더 적고 더 의미 있는 부위 표현을 통한 공동 추론을 가능하게 한다.

제안 방법

• A-AOG 모델은 세 가지 유형의 문법을 조합한다: 계층적 전체-부분 분해를 위한 어휘적 구조 문법, 신체 부위의 운동학적 연결을 위한 의존성 문법, 부위 간 외관 일관성을 위한 속성 문법.
• 파싱 그래프는 파란 선으로 계층적 분해를, 초록 선으로 운동학적 연결(관절 연결 구조)을, 빨간 선으로 속성과 사후 확률을 나타낸다.
• 전역 속성(Gender, Age 등)은 노드 간에 공유되며 여러 부위에서 추론되며, 국소 속성(예: 헤어 스타일)은 특정 노드에 연결된다.
• 에너지 기반 추론을 사용하여 상향식 및 하향식 메시지 전달을 통해 호환성 조건을 통해 부위와 속성 간의 일관성을 강제한다.
• 또한, 파싱 그래프의 가능도를 최대화하는 확률적 프레임워크를 통해 파트 제안과 속성 점수를 OR-노드를 통해 공동 추론한다.
• 다양한 스케일과 종횡비의 앵커를 사용하는 학습된 부위 제안 네트워크를 도입하여 부위 검출의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 구성적 문법을 통한 자세와 속성의 공동 모델링이 독립적 또는 순차적 파ip라인보다 성능을 향상시킬 수 있는가?
• RQ2 속성 일관성 제약 조건을 통합할 경우, 다수의 사람이 있는 혼잡한 환경에서 자세 추정 성능은 어떻게 향상되는가?
• RQ3 속성 문법을 통한 계층적 분해가 국소 속성에 대해 예측 정확도를 얼마나 향상시키는가?
• RQ4 반복적이고 닫힌 루프 추론을 통해 자세 추정에서 속성 예측으로의 오류 전파를 줄일 수 있는가?
• RQ5 속성이 일관성 사전 정보로 사용될 때, A-AOG는 큰 자세 변화와 가림 상황을 얼마나 효과적으로 다룰 수 있는가?

주요 결과

• 공동 A-AOG 모델은 자세 추정 및 속성 예측 모두에서 최신 기술 수준의 성능을 달성하였으며, People의 Attributes 및 Pedestrian Attribute 데이터셋에서 이전 방법들을 능가한다.
• 실제로 지도된 바운딩 박스 없이도, 자세 무관 속성 분류에 비해 평균 평균 정밀도에서 2.6~2.7%p 향상되어 속성 예측 성능이 향상됨을 확인하였다.
• 속성을 제거할 경우 자세 추정 정확도가 4.6%p 감소하여, 속성 일관성이 부위 잘못 할당을 줄이는 데 핵심적인 역할을 함을 입증하였다.
• 다수의 사람이 있는 상황에서 속성 일관성을 활용하여 부위를 올바른 개인에 연결함으로써 모호성을 성공적으로 해결하였으며, 사람 간 부위 할당 오류를 감소시켰다.
• 실패 케이스는 주로 유사한 속성을 가진 여러 사람이 존재할 경우 발생하여, 향후 연구에서는 더 나은 신원 모델링이 필요함을 시사한다.
• 대규모 스케일의 부위 제안을 다양한 스케일과 종횡비에서 사용할 경우 강력한 일반화 성능을 보였으며, 200개의 포즈릿만을 사용하는 방법보다 뛰어난 성능을 기록하였다.