[논문 리뷰] The Devil is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation

Junjie Huang, Zheng Zhu외 3명|arXiv (Cornell University)|2019. 11. 18.

Human Pose and Action Recognition참고 문헌 68인용 수 35

한 줄 요약

이 논문은 인간 자세 추정 파이프라인에서 편향된 데이터 처리 문제를 식별하고, 추가 지연 없이 성능을 상당히 개선하는 모델-제약 없는 UDP(Unbiased Data Processing)를 제시하며, COCO 및 CrowdPose에서 시연한다.

ABSTRACT

Being a fundamental component in training and inference, data processing has not been systematically considered in human pose estimation community, to the best of our knowledge. In this paper, we focus on this problem and find that the devil of human pose estimation evolution is in the biased data processing. Specifically, by investigating the standard data processing in state-of-the-art approaches mainly including coordinate system transformation and keypoint format transformation (i.e., encoding and decoding), we find that the results obtained by common flipping strategy are unaligned with the original ones in inference. Moreover, there is a statistical error in some keypoint format transformation methods. Two problems couple together, significantly degrade the pose estimation performance and thus lay a trap for the research community. This trap has given bone to many suboptimal remedies, which are always unreported, confusing but influential. By causing failure in reproduction and unfair in comparison, the unreported remedies seriously impedes the technological development. To tackle this dilemma from the source, we propose Unbiased Data Processing (UDP) consist of two technique aspect for the two aforementioned problems respectively (i.e., unbiased coordinate system transformation and unbiased keypoint format transformation). As a model-agnostic approach and a superior solution, UDP successfully pushes the performance boundary of human pose estimation and offers a higher and more reliable baseline for research community. Code is public available in https://github.com/HuangJunJie2017/UDP-Pose

연구 동기 및 목표

• 포즈 추정 시스템에서 간과된 데이터 처리 편향을 동기 부여하고 해결한다.
• 편향 없는 좌표계 변환과 편향 없는 키포인트 포맷 변환을 정의한다.
• 모델-제약 없는 UDP 프레임워크를 제공하고 최신 방법에 미치는 영향을 분석한다.

제안 방법

• 좌표계 변환을 형식화하기 위해 데이터를 연속 공간에서 정의한다.
• 자른다/리사이징/회전/뒤집기에 대한 편향 없는 변환을 도출하고 편향-없는 파이프라인(식(2, 3, 9-13))을 증명한다.
• 편향 없는 키포인트 포맷 변환과 편향 없는 디코딩/인코딩 전략(히트맵과의 관련성)을 도입한다.
• 픽셀 기반 사이즈가 불일치를 초래하는 편향된 파이프라인을 진단하고 해결책을 제시한다.
• COCO 및 CrowdPose에서 UDP를 평가하여 상위 바운드/하향식 및 상향식 방법 전반에서 성능 및 지연 이점을 보여준다.

실험 결과

연구 질문

• RQ1 포즈 추정 파이프라인에서 사용되는 일반적인 좌표계 변환에 어떤 편향이 존재하는가?
• RQ2 좌표계 및 키포인트 포맷 변환을 어떻게 편향 없이 설계할 수 있는가?
• RQ3 UDP가 표준 벤치마크에서 다양한 포즈 추정 패러다임(상향식 및 하향식)에서 정확도 및/또는 속도를 개선하는가?

주요 결과

• UDP가 상향식 SimpleBaseline을 70.2에서 71.7 AP(ResNet50-256×192)로, 71.9에서 72.9 AP(ResNet152-256×192)로 향상시킨다.
• UDP가 HRNet W32-256×192를 73.5에서 75.2 AP로, W48-256×192를 74.3에서 75.7 AP로 향상시킨다.
• UDP가 HRNet-W48-384×288를 76.5 AP로 끌어올려 상향식 포즈 추정에 새로운 최첨단을 확립한다.
• 하향식 HRNet-W32-512×512에서 UDP가 2.7 AP 이득과 6.1배 빠른 추론 속도를 제공한다; HigherHRNet도 지연을 줄이면서 이득을 얻는다.
• CrowdPose 실험은 UDP가 COCO를 넘어 일반화됨을 보여준다.
• UDP는 2020 COCO Keypoint Detection Challenge 우승자(UDP++)의 핵심 기준선으로 작용했다.