[논문 리뷰] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

Zhe Cao, Tomas Simon외 2명|arXiv (Cornell University)|2016. 11. 24.

Human Pose and Action Recognition참고 문헌 32인용 수 102

한 줄 요약

이 논문은 Part Affinity Fields (PAFs)을 도입합니다. 아래에서 위로 흐르는 CNN으로 신체 부위 신뢰도 맵과 사지 친화 필드(limb affinity fields)를 공동 예측하여 다중 사람의 실시간 2D 자세 추정과 그리디 파싱 단계를 수행합니다. 수용 인원 수에 무관한 효율적 런타임으로 MPII 및 COCO 벤치마크에서 최첨단 정확도를 달성합니다.

ABSTRACT

We present an approach to efficiently detect the 2D pose of multiple people in an image. The approach uses a nonparametric representation, which we refer to as Part Affinity Fields (PAFs), to learn to associate body parts with individuals in the image. The architecture encodes global context, allowing a greedy bottom-up parsing step that maintains high accuracy while achieving realtime performance, irrespective of the number of people in the image. The architecture is designed to jointly learn part locations and their association via two branches of the same sequential prediction process. Our method placed first in the inaugural COCO 2016 keypoints challenge, and significantly exceeds the previous state-of-the-art result on the MPII Multi-Person benchmark, both in performance and efficiency.

연구 동기 및 목표

• 사람 탐지기 없이 단일 이미지에서 다중 인원의 2D 자세를 검출한다.
• 신체 부위 위치와 사지 연관을 공동으로 학습하여 전역 맥락을 보존한다.
• 사람 수가 아니라 이미지 콘텐츠의 크기에 따라 빠르고 확장 가능한 파싱을 가능하게 한다.

제안 방법

• 두 가지 분기 CNN은 Ϙconfidence mapsϙ를 예측하고, ϘPart Affinity Fieldsϙ (PAFs)로 사지 방향을 인코딩한다.
• 두 분기 모두에 대해 반복적 개선과 중간 감독이 있는 다단 아키텍처로 구성한다.
• PAFs에 대한 선적분을 사용한 그리디 파싱으로 후보 사지를 점수화하고 전체 신체 포즈를 구성한다.
• 사지 유형별 이분 매칭을 갖는 최소 신장 트리 기반 파싱으로 포즈를 형성하여 완전 연결 그래프에 비해 효율성을 향상시킨다.
• 공간 마스킹을 사용하여 라벨이 없는 영역을 처리하고 단계별 감독(L2 손실은 S와 L에 적용)을 수행한다.
• 파싱 전에 파트 후보를 생성하기 위해 confidence maps에 대해 비최대 억제(NMS)를 사용한다.

실험 결과

연구 질문

• RQ1 부분 탐지와 부분 간 연관을 공동으로 학습하여 강건한 다중 인원 자세 파싱을 가능하게 하려면 어떻게 해야 하는가?
• RQ2 전역 사지 친화 필드를 갖는 하향식(bottom-up) 접근 방식이 도전적인 데이터세트에서 높은 정확도를 유지하면서 실시간 성능을 달성할 수 있는가?
• RQ3 파트 후보로부터 올바른 포즈를 효율적으로 조립하기에 충분한 파싱 전략은 무엇인가?
• RQ4 PAFs를 통한 사지 방향성 모델링이 더 간단한 중점 기반 연관과 비교해 어떤 영향을 미치는가?
• RQ5 이 방법이 MPII와 COCO 벤치마크에서 이전의 하향식 및 상향식 접근 방식과 비교하여 어떤 성능을 보이는가?

주요 결과

• PAFs는 사지 연관에 대한 강건한 위치 및 방향 표현을 제공하여 다중 인원 파싱의 정확성을 가능하게 한다.
• 제안된 두 가지 분기, 다단 CNN은 MPII 및 COCO 벤치마크에서 최첨단 mAP를 달성하여 기존의 하향식 방법을 능가한다.
• PAFs를 이용한 그리디, 트리 구조 파싱은 전체 그래프 기반 최적화보다 수 차례에서 수십 배 더 빠르면서도 높은 정확도를 유지한다.
• 실행 시간 분석은 이 접근 방식이 사람 수가 아니라 이미지 콘텐츠에 비례해 확장됨을 보여주며 실험에서 19명의 비디오에서 8.8 fps를 달성했다.
• 라벨이 없는 사람들에 대한 마스크로 학습하는 것이 누락된 주석에 대한 페널티를 줄여 정확도를 높인다.