[논문 리뷰] Stacked Hourglass Networks for Human Pose Estimation

Alejandro Newell, Kaiyu Yang외 1명|arXiv (Cornell University)|2016. 03. 22.

Human Pose and Action Recognition참고 문헌 41인용 수 536

한 줄 요약

중간 감독을 가진 스택된 하우스그래스 합성곱 신경망을 도입해 인간 자세 자세 히트맵을 예측하고, FLIC와 MPII 벤치마크에서 최신 결과를 달성한다.

ABSTRACT

This work introduces a novel convolutional network architecture for the task of human pose estimation. Features are processed across all scales and consolidated to best capture the various spatial relationships associated with the body. We show how repeated bottom-up, top-down processing used in conjunction with intermediate supervision is critical to improving the performance of the network. We refer to the architecture as a "stacked hourglass" network based on the successive steps of pooling and upsampling that are done to produce a final set of predictions. State-of-the-art results are achieved on the FLIC and MPII benchmarks outcompeting all recent methods.

연구 동기 및 목표

• 다중 스케일에 걸친 정보를 포착하고 통합하여 정밀한 주요 포인트 위치 추정을 달성하는 합성곱 신경망 아키텍처를 개발한다.
• 중첩된 하우스그래스 모듈을 통한 반복적인 상향/하향 inference이 자세 추정을 향상시킴을 보여준다.
• 다단계 포즈 예측 네트워크를 학습할 때 중간 감독의 이점을 보여준다.
• 표준 자세 벤치마크(FLIC 및 MPII)에서 최신 성능을 달성한다.

제안 방법

• 고해상도에서 저해상도로, 다시 되돌아가는 대칭 하우스그래스 모듈을 제안하고, 최근접 이웃 업샘플링과 스킵 연결로 다중 스케일 정보를 융합한다.
• 공유 가중치 없이 여러 개의 하우스그래스 모듈을 엔드투엔드로 스택하여 반복적인 상향-하향 보정이 가능하게 한다.
• 각 하우스그래스 후에 히트맵을 생성하고 손실을 적용하여 학습을 안내하는 중간 감독을 포함한다.
• 각 하우스그래스 내에 잔차 모듈을 사용해 파라미터 수를 제어하고 병목 설계로 더 깊은 구조를 가능하게 한다.
• 평균 제곱 오차 히트맵 손실과 실제 가우시안 히트맵을 비교하여 학습하고, 데이터 증강과 배치 정규화를 사용한다.
• FLIC와 MPII에서 PCK 및 PCKh 지표를 사용해 평가하고, 예측을 위해 테스트 시 이미지 플리핑을 적용한다.

실험 결과

연구 질문

• RQ1 동등한 파라미터 수를 가진 단일 하우스그래스보다 여러 개의 하우스그래스 모듈을 쌓는 것이 자세 추정 정확도를 향상시키나요?
• RQ2 중간 감독이 학습 동역학과 최종 정확도에 미치는 영향은 무엇인가요?
• RQ3 제안된 네트워크가 가려짐이나 근접한 다중 인물과 같은 실무상의 문제를 어떻게 처리하나요?
• RQ4 순수하게 합성곱 기반의 히트맵 방식이 그래픽 모델이나 명시적 신체 선험 지식 없이도 최첨단 결과를 달성할 수 있나요?

주요 결과

• 중간 감독을 갖춘 여덟 개 하우스그래스 스택 네트워크가 MPII에서 최첨단 결과를 달성하며, 특히 팔꿈치와 손목 등 어려운 관절에서 주목할 만한 향상을 보인다.
• FLIC에서 모델은 팔꿈치에 대해 99.0% PCK@0.2, 손목에 대해 97.0%를 달성한다.
• 최종 모델은 MPII에서 관절별 ACC가 Head 98.2, Shoulder 96.3, Elbow 91.2, Wrist 87.1, Hip 90.1, Knee 87.4, Ankle 83.6, Total 90.9를 달성했다.
• 하우스그래스를 쌓는 것은 더 적은 스택에 비해 일관된 정확도 상승을 제공하고, 중간 감독은 스택과 결합될 때 추가 이득을 준다.
• 이 방법은 가려짐이 있는 이미지에서 단일 인물의 자세를 예측할 수 있지만, 가려짐은 여전히 중요한 도전이다.
• 예측은 각 관절당 최대 활성화를 선택하는 후처리와 함께 히트맵으로 생성되며, 테스트 시 증강으로 이미지를 뒤집고 히트맵을 평균화한다.