[논문 리뷰] Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation

Jia Li, Wen Su외 1명|arXiv (Cornell University)|2019. 11. 24.

Human Pose and Action Recognition참고 문헌 29인용 수 10

한 줄 요약

이 논문은 MS-COCO test-dev 세트에서 기준 모델인 CMU-Pose 대비 평균 정확도(AP)에서 15.1%의 절대적 향상을 이룬 새로운 바닥에서부터의 다중 인물 자세 추정 방법인 Simple Pose를 제안한다. 이는 더 직관적인 신체 부위 표현, 주의 메커니즘을 통합한 스택드 아워글래스 네트워크, 어려운 샘플을 탐지하기 위한 포칼 L2 손실, 그리고 강력한 탐지 키포인트 할당 알고리즘을 통해 키포인트 정렬 및 위치 특정화를 향상시킨다. 이 방법은 상위-다운 접근 방식과 유사한 백본 모델을 사용할 때도 최신 바닥에서부터의 방법들을 능가하며, 추론 효율성도 유지한다.

ABSTRACT

We rethink a well-know bottom-up approach for multi-person pose estimation and propose an improved one. The improved approach surpasses the baseline significantly thanks to (1) an intuitional yet more sensible representation, which we refer to as body parts to encode the connection information between keypoints, (2) an improved stacked hourglass network with attention mechanisms, (3) a novel focal L2 loss which is dedicated to hard keypoint and keypoint association (body part) mining, and (4) a robust greedy keypoint assignment algorithm for grouping the detected keypoints into individual poses. Our approach not only works straightforwardly but also outperforms the baseline by about 15% in average precision and is comparable to the state of the art on the MS-COCO test-dev dataset. The code and pre-trained models are publicly available online.

연구 동기 및 목표

• 기존 바닥에서부터의 자세 추정 방법의 한계, 특히 키포인트 정확도 및 가림, 척도 변화에 대한 저항성 향상을 위해.
• Part Affinity Fields(PAFs)를 더 직관적이고 효과적인 신체 부위 표현으로 대체함으로써 키포인트 연결(그룹화) 과정을 향상시키기 위해.
• 공간적 및 채널 주의 메커니즘을 통합한 스택드 아워글래스 네트워크를 통해 특징 학습 및 히트맵 품질을 향상시키기 위해.
• 키포인트 검출 및 키포인트 연결 모두에서 어려운 샘플을 우선적으로 고려하는 학습 목표를 개발하여 어려운 케이스에서의 일반화 능력을 향상시키기 위해.
• 사람 검출기나 모델 앙상블에 의존하지 않고도 바닥에서부터의 자세 추정에서 최신 성능를 달성하면서도 추론 효율성을 유지하기 위해.

제안 방법

• 키포인트 간 연결을 인코딩하기 위해 기존의 복잡한 Part Affinity Fields(PAFs)를 더 단순하고 의미적으로 더 명확한 구조로 대체하는 새로운 신체 부위 표현을 도입한다.
• 공간적 및 채널 주의 모듈을 통합한 개선된 스택드 아워글래스 네트워크를 제안하여 고해상도, 고품질의 히트맵 및 부위 표현을 생성한다.
• 학습 난이도에 따라 supervision을 동적으로 가중하는 새로운 포칼 L2 손실을 설계하여, 어려운 키포인트 및 연결에 초점을 맞춘다.
• 학습된 신체 부위 표현과 신뢰도 점수를 활용해 검출된 키포인트를 개별 자세로 그룹화하는 게으른 키포인트 할당 알고리즘을 개발한다.
• 다중 해상도 추론 및 데이터 증강을 활용하여 다양한 신체 크기에서의 척도 불변성과 강건성을 향상시킨다.
• ImageNet 사전 학습 없이 모델을 처음부터 학습시키며, 전이 학습 없이도 뛰어난 성능을 보임을 입증한다.

실험 결과

연구 질문

• RQ1 더 단순하고 직관적인 키포인트 연결 표현(신체 부위)이 기존의 Part Affinity Fields(PAFs)보다 바닥에서부터의 자세 추정에서 더 우수한 성능을 낼 수 있는가?
• RQ2 주의 메커니즘과 새로운 손실 함수는 다중 인물 자세 추정에서 히트맵 품질과 일반화 능력을 얼마나 향상시키는가?
• RQ3 키포인트 검출 및 키포인트 연결에 대해 동시에 어려운 샘플을 탐지하는 것이 성능 향상에 상당한 기여를 하는가?
• RQ4 사람 검출기나 모델 앙상블에 의존하지 않고도 바닥에서부터의 접근 방식이 상위-다운 방법과 유사한 성능을 달성할 수 있는가?
• RQ5 실세계의 다중 척도 환경에서 척도 불변성과 입력 해상도는 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 신체 부위 표현은 동일한 네트워크와 손실 함수를 사용할 때 기준 모델 대비 3–4%의 AP 향상을 이룬다.
• 포칼 L2 손실은 표준 L2 손실 대비 3–4%의 AP 향상을 보이며, 어려운 샘플 탐지에서의 효과를 입증한다.
• 4단계의 IMHN(개선된 다중 헤드 네트워크)은 3단계 버전 대비 1%의 AP 향상을 기록했으며, 4단계 IMHN 플러스 버전은 MS-COCO test-dev에서 67.1%의 AP를 달성했다.
• 공간적 및 채널 주의 메커니즘의 조합은 각각 1.2%와 0.4%의 AP 향상을 기여하며, 특징 학습에 긍정적인 영향을 미침을 보여준다.
• 모델는 기준 모델인 CMU-Pose 대비 15.1%의 절대적 AP 향상을 기록했으며, 공개된 코드와 모델를 활용해 MS-COCO test-dev에서 67% AP를 초과한 최초의 바닥에서부터의 방법이 되었다.
• 다양한 신체 척도에서 뛰어난 성능 유지를 보였으며, AP_L에서 AP_M로의 성능 하락이 1.3%에 그쳤지만, PifPaf와 PersonLab는 10% 이상의 하락을 보이며 척도 강건성에서 열등함을 보였다.