[논문 리뷰] Dual Path Networks for Multi-Person Human Pose Estimation

Guanghan Ning, Zhihai He|arXiv (Cornell University)|2017. 10. 27.

Human Pose and Action Recognition참고 문헌 30인용 수 10

한 줄 요약

이 논문은 다중 인물의 자세 추정을 위한 이중 경로 신경망을 제안한다. 이 네트워크는 밀집 연결망(denseNet) 스트림을 사용해 키포인트 히트맵을 별도로 회귀하고, 리스크넥스(resNeXt) 스트림을 사용해 파트 유사성 장(PAFs)을 별도로 회귀한다. 오픈포즈(OpenPose)보다 더 작고 빠르지만, 포즈트랙(PoseTrack) 데이터셋에서 더 높은 정확도를 달성하여, 3단계에서 62.4% mAP의 최신 기술 수준 성능을 보였다. 단일 타이탄 X GPU에서 추론 시간은 186.6ms이다.

ABSTRACT

The task of multi-person human pose estimation in natural scenes is quite challenging. Existing methods include both top-down and bottom-up approaches. The main advantage of bottom-up methods is its excellent tradeoff between estimation accuracy and computational cost. We follow this path and aim to design smaller, faster, and more accurate neural networks for the regression of keypoints and limb association vectors. These two regression tasks are naturally dependent on each other. In this work, we propose a dual-path network specially designed for multi-person human pose estimation, and compare our performance with the openpose network in aspects of model size, forward speed, and estimation accuracy.

연구 동기 및 목표

• 다중 인물의 자세 추정을 위한 더 작고, 더 빠르고, 더 정확한 신경망 설계
• 계산 비용과 모델 크기를 줄이면서도 키포인트 및 PAF 회귀 정확도 향상
• 하나의 자세 추정 방식에서 키포인트 검출과 사지 연결 간 상호 의존성 문제 해결
• 이중 경로 아키텍처가 오픈포즈와 같은 기존 모델보다 효율성과 정확도 면에서 뛰어나다는 것을 입증
• 특정 연관 기법이나 PAFs에 국한되지 않는 일반화된 프레임워크 제공

제안 방법

• 네트워크는 이중 경로 아키텍처를 사용한다: 하나는 PAF 회귀를 위한 denseNet 기반, 다른 하나는 키포인트 히트맵 회귀를 위한 resNeXt 기반이다.
• 두 스트림은 각 단계에서 키포인트 히트맵과 PAF 벡터 장에 대해 별도의 L2 손실 함수를 사용해 공동으로 훈련된다.
• VGG-16 백본(첫 16층)의 특징 맵이 반복되는 서브넷에 입력되며, 각 서브넷은 채널 증가 패턴이 다른 두 가지 브랜치를 융합하는 DPN 블록을 포함한다.
• DPN 블록은 하나의 브랜치는 일관된 채널 수를 유지하고, 다른 브랜치는 블록 간에 채널 수를 누적시켜 특징 표현을 향상시킨다.
• 모델은 다단계 감독을 통해 엔드 투 엔드로 훈련되며, 각 단계에서 예측을 수행하고 진짜 히트맵과 PAF를 기반으로 지도 학습된다.
• 공정한 비교를 위해 오픈포즈와 동일한 훈련 및 테스트 프로토콜을 사용해 포즈트랙 데이터셋에서 프레임워크를 평가하였다.

실험 결과

연구 질문

• RQ1 이중 경로 네트워크 아키텍처는 모델 크기와 추론 시간을 줄이면서도 정확도 향상에 기여할 수 있는가?
• RQ2 키포인트 검출과 PAF 회귀 간의 상호 의존성은 전체 성능에 어떤 영향을 미치는가?
• RQ3 경량이고 효율적인 네트워크가 표준 벤치마크에서 오픈포즈를 뛰어넘는 속도와 정확도를 달성할 수 있는가?
• RQ4 일반화된 이중 경로 설계는 PAF 기반 연관 방법을 초월해 어느 정도 일반화될 수 있는가?
• RQ5 중간 단계에서의 감독을 포함한 다단계 감독은 수렴 속도와 최종 정확도 향상에 기여하는가?

주요 결과

• 제안된 모델은 포즈트랙 테스트 세트에서 62.4%의 평균 정밀도(mAP)를 달성하여, 6단계에서 59.5% mAP를 기록한 오픈포즈를 능가했다.
• 단지 3단계에서도 58.5% mAP를 기록하여, 오픈포즈의 3단계 성능인 54.4% mAP를 뛰어넘었다.
• 모델은 훨씬 더 빠르며, 프레임당 186.6ms의 추론 시간을 기록했고, 오픈포즈의 6단계 기준 155.8ms보다 효율성이 높다는 것을 시사한다.
• 모델은 훨씬 작으며, 3단계 기준 43.7MB로 오픈포즈의 103.8MB보다 크게 감소했다.
• 낮은 계산 복잡도와 작은 크기임에도 불구하고, 이중 경로 네트워크는 오픈포즈를 능가하는 정확도를 달성하여 효율-정확도 트레이드오���에서 뛰어난 성능을 보였다.
• 제거 실험 결과는 이중 경로 설계가 키포인트와 PAF 회귀 간의 의존성을 효과적으로 활용하여 전체 성능 향상에 기여한다는 것을 확인했다.