[논문 리뷰] Generative Partition Networks for Multi-Person Pose Estimation

Xuecheng Nie, Jiashi Feng외 2명|arXiv (Cornell University)|2017. 05. 21.

Human Pose and Action Recognition참고 문헌 30인용 수 11

한 줄 요약

이 논문은 다수의 사람 자세 추정을 위한 새로운 일회성 접근법인 생성적 파artition 네트워크(GPN)를 제안한다. GPN은 임bedding 공간에서 생성 모델을 사용하여 사람 검출과 관절 분할을 동시에 수행한다. 밀도 높은 회귀를 통해 효율적인 관절 분할을 구현하고, 국소적 탐색적 추론과 전역 유사도 신호를 조합함으로써, MPII, PASCAL-Person-Part 및 WAF 벤치마크에서 낮은 추론 복잡도로 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

This paper proposes a new Generative Partition Network (GPN) to address the challenging multi-person pose estimation problem. Different from existing models that are either completely top-down or bottom-up, the proposed GPN introduces a novel strategy--it generates partitions for multiple persons from their global joint candidates and infers instance-specific joint configurations simultaneously. The GPN is favorably featured by low complexity and high accuracy of joint detection and re-organization. In particular, GPN designs a generative model that performs one feed-forward pass to efficiently generate robust person detections with joint partitions, relying on dense regressions from global joint candidates in an embedding space parameterized by centroids of persons. In addition, GPN formulates the inference procedure for joint configurations of human poses as a graph partition problem, and conducts local optimization for each person detection with reliable global affinity cues, leading to complexity reduction and performance improvement. GPN is implemented with the Hourglass architecture as the backbone network to simultaneously learn joint detector and dense regressor. Extensive experiments on benchmarks MPII Human Pose Multi-Person, extended PASCAL-Person-Part, and WAF, show the efficiency of GPN with new state-of-the-art performance.

연구 동기 및 목표

• 상위 다운 및 바텀 업 접근법의 한계를 해결하기 위해, 높은 복잡도와 오류 전파 문제를 해결한다.
• 일련의 단일 사람 추론으로 인해 비효율적인 상위 다운 방법과, 바텀 업의 관절 분할에 따른 높은 계산 비용 문제를 해결한다.
• 단일 순차 프로세스 내에서 사람 검출과 관절 분할을 동시에 수행하는 통합 프레임워크를 개발하여 효율성과 정확도를 향상시킨다.
• 강력한 사람 검출과 전역 유사도 신호에 기반한 국소적 추론을 활용하여 그래프 분할의 탐색 공간을 줄인다.
• 생성적 분할 메커니즘과 단일 사람 자세 추정을 통한 보정을 통해 겹침, 겹침, 자세 변형에 대한 자세 추정의 강건성을 향상시킨다.

제안 방법

• 사람 중심점로 파arameter화된 임베딩 공간에서 밀도 높은 회귀를 사용하여 전역 관절 후보로부터 사람 검출과 관절 분할을 추론하는 생성적 파artition 모델을 제안한다.
• 관절 검출과 분할을 위한 밀도 높은 회귀를 동시에 학습하기 위해 다단계 아워글라스 네트워크 백본을 구현한다.
• 각 사람 검출에 대해 전역 유사도 신호를 활용하여, 국소적 추론을 탐욕적 최적화 문제로 공식화함으로써 관절 연결 정확도를 향상시킨다.
• 각 검출된 사람 인스턴스 내에서 관절 위치를 보정하기 위해 단일 사람 자세 추정기의 보정 단계를 도입한다.
• 다중 스테이지 네트워크에서 반복적으로 관절 검출 및 분할 오류를 수정하는 신뢰도 맵 보정 메커니즘을 사용한다.
• 키포인트 검출, 파트 유사도 필드 회귀, 파artition 신뢰도 감시를 결합한 다중 작업 손실을 통해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합 일회성 프레임워크가 기존 상위 다운 및 바텀 업 방법의 장점을 융합함으로써 다수의 사람 자세 추정에서 우월한 성능을 낼 수 있는가?
• RQ2 생성적 파artition 메커니즘이 관절 검출 및 연결의 높은 정확도를 유지하면서도 계산 복잡도를 어떻게 줄이는가?
• RQ3 전역 그래프 분할 또는 단순한 상위 다운 할당과 비교할 때, 전역 유사도 신호를 활용한 국소적 탐색적 추론은 자세 추정의 강건성에 얼마나 기여하는가?
• RQ4 생성적 파artition 모델은 이미지 내 사람 수를 얼마나 정확하게 예측하는가? 그리고 진짜 값과 비교해보면 어떠한가?
• RQ5 다단계 보정 및 단일 사람 자세 보정의 기여도는 도전적인 벤치마크에서 최종 성능에 얼마나 기여하는가?

주요 결과

• GPN은 MPII 다수의 사람 자세 추정 벤치마크에서 79.0% AP의 새로운 최신 기준 성능을 달성하여 이전 방법들을 압도한다.
• 완전한 GPN 모델은 관절 분할에 대해 단지 1.9ms의 추론 시간을 기록하여 기존 접근법에 비해 매우 높은 효율성을 보여준다.
• 절단 실험 결과, 국소적 탐색적 추론을 제거한 GPN-w/o-LGI는 성능이 77.8% AP로 떨어지며, 전역 유사도 신호를 통한 가짜 긍정 결과 처리의 중요성을 확인한다.
• 생성적 파artition 모델은 사람 수 예측에 대해 평균 제곱 오차가 단지 0.203에 불과하여 높은 정확도의 사람 수 추정 능력을 보여준다.
• 다단계 설계는 성능을 단순히 향상시키며, 첫 번째 스테이지에서 여덟 번째 스테이지로의 전환에서 23.4%의 AP 향상이 이루어져 단계 간 효과적인 오류 보정이 이루어짐을 보여준다.
• 보정 또는 다중 해상도 테스트 없이도 GPN-Vanilla 버전이 74.8% AP를 기록하여 제안된 프레임워크의 강건성과 안정성을 입증한다.