[논문 리뷰] Multi-Stage HRNet: Multiple Stage High-Resolution Network for Human Pose Estimation

Junjie Huang, Zheng Zhu외 1명|arXiv (Cornell University)|2019. 10. 14.

Human Pose and Action Recognition참고 문헌 33인용 수 10

한 줄 요약

이 논문은 다단계 HRNet을 제안하며, 다단계 네트워크 전반에 걸쳐 고해상도 특징 표현을 유지하고 단계 간 특징 통합을 통해 관절 예측을 정밀하게 개선하는 상향식 인간 자세 추정 프레임워크이다. 데이터 증강이나 앙상블 없이도 공개 학습 데이터만을 사용하여 COCO test-dev에서 77.1 AP를 달성하며, 단일 모델, 단일 스케일 설정에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Human pose estimation are of importance for visual understanding tasks such as action recognition and human-computer interaction. In this work, we present a Multiple Stage High-Resolution Network (Multi-Stage HRNet) to tackling the problem of multi-person pose estimation in images. Specifically, we follow the top-down pipelines and high-resolution representations are maintained during single-person pose estimation. In addition, multiple stage network and cross stage feature aggregation are adopted to further refine the keypoint position. The resulting approach achieves promising results in COCO datasets. Our single-model-single-scale test configuration obtains 77.1 AP score in test-dev using publicly available training data.

연구 동기 및 목표

• 제약 조건이 없는 환경에서 다수의 인간 자세 추정을 향상시키며, 특히 가림, 복잡한 조명 조건과 같은 과제에 대응한다.
• 정확한 관절 위치를 국소화하는 데 어려움을 겪는 단일 단계 네트워크의 한계를 해결한다.
• 상향식 자세 추정의 장점을 고해상도 표현과 다단계 정밀 조정을 결합하여 정확도를 향상시킨다.
• 공개적으로 이용 가능한 학습 데이터와 단일 모델, 단일 스케일 추론 설정만을 사용하여 최신 기술 수준의 성능을 달성한다.

제안 방법

• 이 방법은 먼저 이미지에서 사람을 검출하고 자르는 상향식 파이프라인을 사용한다.
• HRNet와 마찬가지로 병렬 다중 해상도 서브넷을 연결하여 네트워크 전반에 걸쳐 고해상도 표현을 유지한다.
• 두 단계 아키텍처를 사용하며, 각 단계의 특징을 요소별 덧셈을 통해 단계 간 통합하여 관절 예측을 정밀 조정한다.
• 단계 간 특징 통합은 히트맵과 오프셋 맵의 점진적 정밀 조정을 가능하게 하여 공간 정밀도를 향상시킨다.
• 특징 표현을 향상시키기 위해 잔차 블록과 반복적인 다중 해상도 특징 융합을 적용한 수정된 HRNet 백본을 사용한다.
• 학습은 혼합 정밀도(f16)를 사용하는 Adam을 사용하며, 150 에포크에서 조기 종료하고, 110 및 140 에포크에서 학습률 감소를 적용한다.

실험 결과

연구 질문

• RQ1 다양한 단계에 걸쳐 고해상도 표현을 유지하는 것이 다수의 자세 추정에서 관절 국소화 정확도를 향상시키는가?
• RQ2 단일 단계 네트워크와 비교해 단계 간 특징 통합이 자세 추정 성능을 어떻게 향상시키는가?
• RQ3 공개 학습 데이터만을 사용하고 단일 모델, 단일 스케일 추론 설정에서 달성할 수 있는 성능 향상은 무엇인가?
• RQ4 정확도와 효율성 측면에서 제안된 방법은 최신 기술 수준의 모델과 어떻게 비교되는가?

주요 결과

• 제안된 Multi-Stage HRNet는 공개적으로 이용 가능한 학습 데이터와 단일 모델, 단일 스케일 설정만을 사용하여 COCO test-dev 세트에서 77.1 AP를 달성한다.
• 간단한 테스트 시점 증강과 모델 앙상블를 적용하면 77.7 AP에 도달하며, 단일 모델 방법 중 COCO 랭킹에서 두 번째를 기록한다.
• 모든 공개적으로 이용 가능한 학습 데이터를 사용한 미니 검증 세트에서 79.4 AP를 달성하여 강력한 일반화 능력을 입증한다.
• 단계 간 특징 통합을 포함한 두 단계 설계는 단일 단계 HRNet보다 정확도를 향상시키며, 특히 가림이나 희귀 자세와 같은 과제에서 뚜렷한 개선을 보인다.
• 동일한 평가 프로토콜 하에서 Mask R-CNN, CPN, SimpleBaseline와 같은 다른 단일 모델 접근 방식보다 COCO test-dev에서 뛰어난 성능을 보인다.
• 일부 경쟁자보다 더 작은 백본(HRNet-W48)과 더 적은 학습 데이터를 사용함에도 불구하고 경쟁 가능한 성능을 달성하여 높은 효율성과 효과성을 보여준다.