[논문 리뷰] Is 2D Heatmap Representation Even Necessary for Human Pose Estimation

Yanjie Li, Sen Yang외 5명|arXiv (Cornell University)|2021. 07. 07.

Human Pose and Action Recognition참고 문헌 42인용 수 11

한 줄 요약

이 논문은 업샘플링 및 정제 과정이 필요 없는 히트맵 기반 접근법인 SimDR를 제안한다. 이 방법은 수평 및 수직 키포인트 좌표를 별도의 분류 헤드로 분리하여, 해시맵 표현을 완전히 회피함으로써 성능 향상을 이룬다. COCO 데이터셋에서 히트맵 기반 방법에 비해 특히 저해상도 환경에서 뛰어난 성능을 보이며, 우수한 성능을 달성한다.

ABSTRACT

The 2D heatmap representation has dominated human pose estimation for years due to its high performance. However, heatmap-based approaches have some drawbacks: 1) The performance drops dramatically in the low-resolution images, which are frequently encountered in real-world scenarios. 2) To improve the localization precision, multiple upsample layers may be needed to recover the feature map resolution from low to high, which are computationally expensive. 3) Extra coordinate refinement is usually necessary to reduce the quantization error of downscaled heatmaps. To address these issues, we propose a extbf{Sim}ple yet promising extbf{D}isentangled extbf{R}epresentation for keypoint coordinate (\emph{SimDR}), reformulating human keypoint localization as a task of classification. In detail, we propose to disentangle the representation of horizontal and vertical coordinates for keypoint location, leading to a more efficient scheme without extra upsampling and refinement. Comprehensive experiments conducted over COCO dataset show that the proposed \emph{heatmap-free} methods outperform \emph{heatmap-based} counterparts in all tested input resolutions, especially in lower resolutions by a large margin. Code will be made publicly available at \url{this https URL}.

연구 동기 및 목표

• 실제 응용에서 흔한 저해상도 이미지에서 히트맵 기반 방법의 성능 저하 문제를 해결한다.
• 고해상도 특징 맵을 복구하기 위해 필요한 다중 업샘플링 레이어의 계산 비용을 제거한다.
• 히트맵 다운샘플링으로 인한 양자화 오차를 히트맵 표현을 완전히 회피함으로써 감소시킨다.
• 분리된 좌표 분류를 통해 보다 효율적이고 정확한 키포인트 위치 추정 방법을 개발한다.

제안 방법

• 수평 및 수직 키포인트 좌표를 별도의 독립된 분류 헤드로 분리하는 분리된 표현을 제안한다.
• 모델이 2D 키포인트 위치를 x 및 y 좌표에 대한 이산 클래스 확률 쌍으로 예측하도록 훈련한다.
• 히트맵 회귀를 피하기 위해 수평 및 수직 좌표 분류 모두에 교차 엔트로피 손실을 사용한다.
• 저해상도 특징에서 직접 좌표를 예측함으로써 업샘플링 또는 정제 모듈을 완전히 회피한다.
• 분리된 구조를 활용해 추가 후처리 없이도 정밀한 위치 추정 성능을 향상시킨다.
• 표준 분류 손실을 사용해 엔드 투 엔드로 훈련함으로써 히트맵 기반 접근법에 비해 파이프라인을 단순화한다.

실험 결과

연구 질문

• RQ1 히트맵 기반 방법에 비해 히트맵 없는 접근법이 인간 자세 추정에서 성능을 뛰어넘을 수 있는가, 특히 저해상도 입력에서 성능이 향상되는가?
• RQ2 수평 및 수직 좌표 예측을 분리함으로써 정밀도 향상과 양자화 오차 감소가 가능한가?
• RQ3 비용이 많이 드는 업샘플링 및 정제 모듈의 필요성을 성능 저하 없이 제거할 수 있는가?
• RQ4 기본 히트맵 기반 모델과 비교해 제안된 방법이 다양한 입력 해상도에서 어떻게 스케일링되는가?

주요 결과

• 제안된 SimDR 방법은 COCO 데이터셋에서 모든 테스트된 히트맵 기반 기준 모델보다 모든 입력 해상도에서 뛰어난 성능을 보였다.
• 성능 향상은 특히 저해상도 설정에서 가장 두드러지며, 해상도 저하에 대한 강건성을 입증한다.
• 업샘플링 및 좌표 정제 모듈의 필요성을 제거함으로써 계산 오버헤드를 감소시켰다.
• 분리된 분류 접근법은 히트맵 기반 국소화에서 내재된 양자화 오차를 감소시켰다.
• 히트맵 감독이나 후처리 없이도 최신 기술 수준의 성능을 달성했다.
• 제거 분석 결과, 분리된 좌표 예측이 성능 향상의 핵심 요인임을 확인했다.