[논문 리뷰] Improvement Multi-Stage Model for Human Pose Estimation.

Zhihui Su, Ming Ye외 3명|arXiv (Cornell University)|2019. 02. 21.

Human Pose and Action Recognition인용 수 3

한 줄 요약

이 논문은 단일 인물 자세 추정 벤치마크인 MPII에서 최고 성능을 내기 위해 단계별 커널 크기 적응(multi-σ)과 최적화된 훈련 스케줄을 통해 성능을 향상시킨 개선된 다단계 딥러닝 모델을 제안한다.

ABSTRACT

Multi-stage methods are widely used in detection task, and become more competitive than single-stage. This paper studed the improvement both in single and multi stage model. Training methods is also metioned in this paper, like multi {\sigma} of kernel sizes for different stages, and training steps to improve the stability of convergance. The resulting multi-stage network outperforms all previous works and obtains the best performance on single person task of MPII.

연구 동기 및 목표

• 네트워크 아키텍처와 훈련 절차를 개선하여 다단계 모델의 인간 자세 추정 성능을 향상시키는 것.
• 통제된 훈련 단계 스케줄링을 통해 다단계 네트워크의 수렴 불안정성 문제를 해결하는 것.
• 다양한 커널 크기(multi-σ)를 단계 간에 적용하여 특징 표현 능력을 향상시키는 영향을 탐색하는 것.
• 단일 인물 자세 추정에 대해 MPII 벤치마크에서 최고 성능을 달성하는 것.

제안 방법

• 모델는 각 단계에서 다른 커널 크기(multi-σ)를 사용하여 다중 척도 공간 정보를 포착하도록 다단계 설계를 채택한다.
• 수렴 안정성과 모델 정확도 향상을 위해 단계별 훈련 단계를 최적화하여 훈련을 수행한다.
• 이전 단계의 특징 맵은 후속 단계에서 점진적으로 개선되어 계층적 특징 학습을 가능하게 한다.
• 키포인트 위치 추정을 최소화하는 히트맵 회귀 손실을 중심으로 엔드 투 엔드로 네트워크를 훈련시킨다.
• multi-σ 커널의 사용은 각 단계가 다양한 공간 척도에서 키포인트 특징을 전문화해 탐지하도록 한다.
• 최적화된 점진적 훈련 스케줄을 적용하여 최적화 안정성을 향상시키고 초기 수렴을 방지한다.

실험 결과

연구 질문

• RQ1 단계 간 커널 크기를 다양하게 적용할 경우 다단계 인간 자세 추정 성능에 어떤 영향을 미치는가?
• RQ2 최적화된 훈련 단계 스케줄링이 다단계 자세 추정 네트워크의 수렴 안정성 향상에 기여하는가?
• RQ3 multi-σ 커널 적응은 딥 자세 추정 모델의 특징 표현 능력을 어느 정도 향상시키는가?
• RQ4 제안된 다단계 프레임워크가 MPII 벤치마크에서 기존 최고 성능 모델을 초월하는가?

주요 결과

• 제안된 다단계 모델은 MPII 단일 인물 자세 추정 벤치마크에서 최고 성능을 달성한다.
• 단계 간 multi-σ 커널 크기의 사용은 특징 표현 능력과 모델 정확도를 향상시킨다.
• 최적화된 훈련 단계 스케줄링은 훈련 중 수렴 안정성을 크게 향상시킨다.
• 이 방법은 MPII 데이터셋에서 문헌에 보고된 모든 이전 작업을 능가한다.