[논문 리뷰] Simple Baselines for Human Pose Estimation and Tracking

Bin Xiao, Haiping Wu외 1명|arXiv (Cornell University)|2018. 04. 17.

Human Pose and Action Recognition참고 문헌 23인용 수 118

한 줄 요약

이 논문은 단일 프레임 인간 포즈 추정 및 비디오에서 다인 포즈 추적에 대해 단순하고 강력한 기준선을 제시하며, 경량의 디컨볼루션 헤드와 흐름(flow) 기반 추적으로 최첨단 결과를 달성한다.

ABSTRACT

There has been significant progress on pose estimation and increasing interests on pose tracking in recent years. At the same time, the overall algorithm and system complexity increases as well, making the algorithm analysis and comparison more difficult. This work provides simple and effective baseline methods. They are helpful for inspiring and evaluating new ideas for the field. State-of-the-art results are achieved on challenging benchmarks. The code will be available at https://github.com/leoxiaobin/pose.pytorch.

연구 동기 및 목표

• 단순한 헤드 디자인과 디컨볼루션이 다인 포즈 추정을 위한 경쟁력 있는 열지도를 생성할 수 있는지 조사한다.
• 광학 흐름을 통해 관절을 전파하고 흐름 기반 유사성을 데이터 연관성에 사용하는 실용적인 흐름 기반 추적 파이프라인을 개발한다.
• 단일 프레임 포즈 추정은 COCO에서, 비디오 기반 포즈 추정 및 추적은 PoseTrack에서 평가한다.
• 열지도 해상도, 백본 깊이, 입력 크기 및 흐름 기반 구성 요소의 영향력을 이해하기 위한 어블레이션을 제공한다.

제안 방법

• 깊은 특징을 키포인트 예측용 열지도(Map)로 변환하기 위해 ResNet 백본 위에 작은 디컨볼루션 레이어 스택을 추가한다.
• 예측된 열지도와 가우시안으로 스무딩된 샘플의 MSE 손실로 학습한다.
• 추적을 위해 이전 프레임의 관절을 광학 흐름으로 전파하여 후보 박스를 생성하고, 전파된 관절과 현재 관절 간의 OKS를 이용한 흐름 기반 포즈 유사성을 계산한다.
• 탐지 상자와 전파된 상자를 NMS로 통합하고, 통합된 각 상자에 대해 포즈를 추정하며, 흐름 기반 유사도 행렬을 이용해 그리디 ID 할당을 수행한다.
• 가려짐과 짧은 소실을 넘나들며 연결하기 위해 다중 프레임 흐름 기반 유사도로 추적을 확장한다.
• M_sim을 계산하고 ID를 할당하기 위해 과거 프레임의 짧은 이력 큐를 유지하는 온라인 추론 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 단순한 디컨볼루션 헤드가 ResNet 백본 위에 올려졌을 때, 복잡한 멀티 스테이지 아키텍처 없이 COCO의 포즈 추정 정확도를 얼마나 끌어올릴 수 있는가?
• RQ2 광학 흐름 기반의 관절 전파와 흐름 기반 포즈 유사성이 더 복잡한 파이프라인에 의존하는 최첨단 메서드와 비교해 비디오 포즈 추적에서 경쟁력을 제공하는가?
• RQ3 백본 깊이, 입력 해상도, 디컨볼루션 커널 선택이 포즈 추정 성능에 어떤 영향을 미치는가?
• RQ4 관절 전파를 탐지기 상자와 통합하는 것이 도전적인 비디오 시나리오에서 탐지 및 추적의 견고성을 향상시키는가?
• RQ5 흐름 기반 다중 프레임 유사도는 PoseTrack의 Tracking-By-Detection 성능에 어떤 영향을 미치는가?

주요 결과

Method	Backbone	Input Size	AP	AP50	AP75	APm	APl	AR
CMU-Pose	-	-	61.8	84.9	67.5	57.1	68.2	66.5
Mask-RCNN	ResNet-50-FPN	-	63.1	87.3	68.7	57.8	71.4	-
G-RMI [24]	ResNet-101	353×257	64.9	85.5	71.3	62.3	70.0	69.7
CPN [6]	ResNet-Inception	384×288	72.1	91.4	80.0	68.7	77.2	78.5
FAIR* [9]	ResNeXt-101-FPN	-	69.2	90.4	77.0	64.9	76.3	75.2
G-RMI* [9]	ResNet-152	353×257	71.0	87.9	77.7	69.0	75.2	75.8
oks* [9]	-	-	72.0	90.3	79.7	67.6	78.4	77.1
bangbangren* + [9]	ResNet-101	-	72.8	89.4	79.6	68.6	80.0	78.7
CPN + [6,9]	ResNet-Inception	384×288	73.0	91.7	80.9	69.5	78.1	79.0
Ours	ResNet-152	384×288	73.7	91.9	81.1	70.3	80.0	79.0

• COCO 테스트-데브에서 저자들의 단일 모델 기준선은 73.7 AP를 달성하여 기존의 단일 모델 및 앙상블 결과에 부합하거나 이를 능가한다.
• 흐름 기반 추적 확장은 PoseTrack에서 새로운 최첨단(MOTA 57.8(ResNet-152, 384×288) 및 74.6 mAP)과 Leaderboard 항목의 다인 포즈 추적을 달성한다.
• 어블레이션은 열지도 해상도와 더 큰 입력 크기가 AP를 향상시키고, 더 깊은 백본이 성능을 향상시킨다(예: ResNet-152).
• 광학 흐름으로부터의 관절 전파는 탐지기(R-FCN, FPN-DCN) 및 백본에서 특히 약한 탐지기에서 mAP와 MOTA를 크게 향상시킨다.
• 흐름 기반 포즈 유사도(다중 프레임 포함)는 경계 박스나 포즈 기반의 유사도보다 우수하며, 특히 빠른 모션이나 가려짐 하에서 강력하다.
• 제안된 기준선은 PoseTrack 검증 및 테스트 세트에서 여러 현대 방법을 능가하는 실용적 성능을 보여 더 간단한 설계에도 불구하고 강력한 성능을 보인다.