[논문 리뷰] DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation

Leonid Pishchulin, Eldar Insafutdinov외 5명|arXiv (Cornell University)|2015. 11. 20.

Human Pose and Action Recognition참고 문헌 3인용 수 33

한 줄 요약

이 논문은 다수의 사람에 대한 자세 추정을 위한 통합적 공식을 제안하며, 신체 부위 가설에 대해 정수선형계획법(ILP)을 풀어 사람을 동시에 검출하고 자세를 추정한다. 신체 부위 검출, 그룹화, 가림 현상 처리를 함께 모델링함으로써, 여러 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 겹치는 사람, 가림 현상, 알려지지 않은 사람 수의 경우를 다루는 데서 이중 단계 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

This paper considers the task of articulated human pose estimation of multiple people in real world images. We propose an approach that jointly solves the tasks of detection and pose estimation: it infers the number of persons in a scene, identifies occluded body parts, and disambiguates body parts between people in close proximity of each other. This joint formulation is in contrast to previous strategies, that address the problem by first detecting people and subsequently estimating their body pose. We propose a partitioning and labeling formulation of a set of body-part hypotheses generated with CNN-based part detectors. Our formulation, an instance of an integer linear program, implicitly performs non-maximum suppression on the set of part candidates and groups them to form configurations of body parts respecting geometric and appearance constraints. Experiments on four different datasets demonstrate state-of-the-art results for both single person and multi person pose estimation. Models and code available at http://pose.mpi-inf.mpg.de.

연구 동기 및 목표

• 사람을 먼저 검출하고 나서 자세를 추정하는 이중 단계 방법의 한계를 해결하기 위해, 사람들이 가까이 있거나 겹칠 경우 실패하는 문제를 해결한다.
• 사람 수를 함께 추론하고, 신체 부위 검출 결과를 개인별로 할당하며, 겹치거나 가려진 부위에서의 모호함을 해결한다.
• 신체 부위 간 기하학적 및 외관적 제약 조건을 모델링하여 일관된 자세 구성(configuration)을 형성한다.
• 전역적 증거를 기반으로 재중복 제거 및 잘린 부분/가림 현상 처리를 위해 부분 가설을 비활성화하거나 융합함으로써 암묵적인 비최대 억제(non-maximum suppression)를 수행한다.

제안 방법

• CNN 기반의 부위 검출기로 부위 가설의 집합을 생성하며, 각 검출 결과를 그래프 내의 후보 노드로 간주한다.
• 부분 후보 집합을 서로 일관된 사람별 구성으로 분할하고 레이블링하는 정수선형계획법(ILP) 문제로 문제를 공식화한다.
• ILP의 쌍별 항목은 일관성을 강제한다: 동일 부위(c = c') 항목은 같은 사람에게 속하는 동일한 부위 검출을 그룹화하고, 다른 부위(c ≠ c') 항목은 서로 다른 사람 간의 부위를 연결한다.
• ILP 공식화는 전역 증거를 기반으로 중복되거나 충돌하는 부분 검출을 융합하거나 비활성화함으로써 암묵적인 비최대 억제를 가능하게 한다.
• 사람 수를 검출 없이도 부분 가설을 그룹화함으로써 암묵적으로 추론한다.
• 최적화는 최적성 갭이 보장되는 분기 및 경계(branch-and-bound) 기법을 사용하여, 문제의 NP-완전성에도 불구하고 신뢰할 수 있는 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이중 단계 방법보다 더 효과적으로 붐비는 장면에서 사람 수, 부위 위치, 자세 구성(configuration)을 통합적으로 추정할 수 있는가?
• RQ2 가림 현상과 잘린 부분을 다룰 수 있도록, 부분 검출 가설을 일관되고 겹치지 않는 사람별 자세 구성으로 그룹화할 수 있는가?
• RQ3 모든 신체 부위에서의 전역 증거를 사용할 경우, 국소적 억제보다 비최대 억제가 얼마나 향상될 수 있는가?
• RQ4 독립적인 자세 추정보다 통합 최적화 프레임워크가 겹치는 사람과 모호한 부위 할당을 더 견고하게 처리할 수 있는가?
• RQ5 정확도와 일관성 측면에서 ILP 기반 공식화는 탐욕적 또는 순차적 접근보다 어떻게 비교되는가?

주요 결과

• DeepCut는 네 가지 다른 데이터셋에서 단일 사람 및 다수의 사람 자세 추정 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성한다.
• 이중 단계 방법인 Dense-CNN det ROI에 비해 가림 현상, 겹치는 사람, 모호한 부위 할당을 다루는 데서 뚜렷한 우월성을 보인다.
• 정성적 결과에서 DeepCut는 가려진 부위(예: 숨겨진 팔이나 어깨)를 정확히 예측하고, 서로 다른 사람 간에 부위를 연결하지 않는 것을 확인할 수 있다.
• 전역 일관성을 기반으로 중복되거나 충돌하는 부분 검출을 비활성화함으로써 암묵적인 비최대 억제를 효과적으로 수행한다.
• 사전 사람 검출 없이도 복잡한 장면에서 다수의 겹치는 사람을 포함한 이미지에서 사람 수를 성공적으로 추론한다.
• 실패 사례는 드물며, 주로 부족한 부위 검출 후보에서 기인하며, 잘못된 그룹화에서 비롯되지 않아 검출 오류에 대한 강건성을 보여준다.