[논문 리뷰] RMPE: Regional Multi-person Pose Estimation

Hao-Shu Fang, Shuqin Xie외 2명|arXiv (Cornell University)|2016. 12. 01.

Human Pose and Action Recognition참고 문헌 37인용 수 61

한 줄 요약

이 논문은 잘못된 인간 바운딩 박스 하에서 단일 인물 자세 추정기(SPPE)의 성능을 향상시키기 위해 RMPE라는 지역적 다중 인물 자세 추정 프레임워크를 제안한다. 대칭 공간 변환망(SSTN), 파라미터화된 자세 NMS, 자세 유도 제안 생성기(PGPG)를 통합함으로써 RMPE는 MPII 다중 인물 데이터셋에서 76.7 mAP를 달성하여 이전 방법들보다 뚜렷이 뛰어나며, 국소화 오차와 중복 검출을 효과적으로 처리한다.

ABSTRACT

Multi-person pose estimation in the wild is challenging. Although state-of-the-art human detectors have demonstrated good performance, small errors in localization and recognition are inevitable. These errors can cause failures for a single-person pose estimator (SPPE), especially for methods that solely depend on human detection results. In this paper, we propose a novel regional multi-person pose estimation (RMPE) framework to facilitate pose estimation in the presence of inaccurate human bounding boxes. Our framework consists of three components: Symmetric Spatial Transformer Network (SSTN), Parametric Pose Non-Maximum-Suppression (NMS), and Pose-Guided Proposals Generator (PGPG). Our method is able to handle inaccurate bounding boxes and redundant detections, allowing it to achieve a 17% increase in mAP over the state-of-the-art methods on the MPII (multi person) dataset.Our model and source codes are publicly available.

연구 동기 및 목표

• 다중 인물 시나리오에서 잘못되거나 중복된 인간 바운딩 박스에 취약한 단일 인물 자세 추정기(SPPE)의 문제를 해결한다.
• 자세 추정 정확도가 인간 검출기 품질에 크게 의존하는 이중 단계 자세 추정 프레임워크의 한계를 극복한다.
• 혼잡한 환경에서 겹치거나 잘못 국소화된 인물로 인한 거짓 긍정 및 자세 모호성을 줄인다.
• 자세 유도 제안 생성기를 통해 현실적인 합성 훈련 샘플을 생성함으로써 훈련 데이터의 다양성과 모델의 일반화 능력을 향상시킨다.
• 수동으로 설정된 임계값에 의존하지 않고도 중복된 자세 예측을 제거할 수 있는 효율적이고 학습 가능한 자세 NMS 기법을 개발한다.

제안 방법

• 잘못된 바운딩 박스에서 특징 추출을 개선하고 안정화하기 위해 병렬 SPPE 브랜치를 갖춘 대칭 공간 변환망(SSTN)을 도입한다.
• 자세 간 거리 메트릭을 학습하여 중복된 자세 예측을 비교하고 제거하는 파라미터화된 자세 비최대 억제(NMS) 모듈을 설계한다.
• 자세가 주어졌을 때 인간 제안의 조건부 분포를 모델링하는 자세 유도 제안 생성기(PGPG)를 제안하여 현실적인 합성 훈련 샘플을 통한 데이터 증강을 가능하게 한다.
• PGPG가 생성한 합성 데이터를 사용해 SSTN+SPPE 모듈을 훈련시켜 국소화 오차에 대한 강건성을 향상시킨다.
• 차별 가능한 손실을 최적화하여 데이터에서 최적의 억제 임계값을 학습할 수 있도록 파라미터화된 자세 NMS를 최적화한다.
• 모든 구성 요소를 종단 간 훈련 가능한 파이프라인으로 통합하여 실제 검출 오류 상황에서 SPPE 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 바운딩 박스가 잘못되거나 중복될 경우 지역적 자세 추정 프레임워크가 SPPE 성능을 향상시킬 수 있는가?
• RQ2 기존 NMS와 비교해 학습 가능한 자세 인식 NMS 기법이 중복 자세 예측을 얼마나 효과적으로 줄이는가?
• RQ3 데이터 기반 제안 생성기가 모델의 일반화 능력과 검출 오차에 대한 강건성 향상에 얼마나 기여하는가?
• RQ4 대칭 공간 변환과 병렬 SPPE를 통한 보조 감독이 국소화 노이즈 하에서 특징 품질을 향상시키는가?
• RQ5 정답 제안을 사용할 경우 이중 단계 프레임워크는 이론적 성능 상한에 얼마나 가까이 도달할 수 있는가?

주요 결과

• RMPE는 MPII 다중 인물 데이터셋에서 동일한 평가 프로토콜 하에 최신 기술들을 뛰어넘는 76.7 mAP를 달성한다.
• 제거 실험 결과, 파라미터화된 자세 NMS를 제거하면 mAP가 크게 감소함을 확인하여, 이 기법이 중복 검출을 줄이는 데 핵심적인 역할을 한다는 것을 입증한다.
• 자세 유도 제안 생성기(PGPG)는 훈련 데이터 품질을 향상시키며, 데이터 증강을 제거할 경우 mAP가 73.0%로 떨어짐을 보여준다.
• 병렬 SPPE 브랜치를 갖춘 대칭 STN는 특징 학습을 향상시키며, 병렬 브랜치를 제거하면 성능 저하가 발생함으로써 이 기법이 훈련 안정성에 기여한다는 점을 시사한다.
• 정답 바운딩 박스를 사용할 경우 프레임워크는 84.2% mAP를 달성하여, 이중 단계 파라디그마의 이론적 상한에 매우 가까이 도달함을 보여준다.
• 제안된 파라미터화된 NMS는 이전 최신 기술 구현보다 34.6배 빠르며(1,300장 이미지 기준 1.8초 대비 62.2초), 높은 효율성을 입증한다.