[논문 리뷰] Convolutional Pose Machines

Evan Murray, von Coler, Henrik|arXiv (Cornell University)|2016. 01. 30.

Human Pose and Action Recognition참고 문헌 37인용 수 295

한 줄 요약

Convolutional Pose Machines (CPMs)는 심층 합성곱 신경망을 시퀀셜 포즈 추정 프레임워크에 통합하여 이미지 특징과 암시적 공간 모델을 학습하고, 명시적 그래프-모델 추론 없이 신체 부위에 대한 신념 맵을 점진적으로 정제한다. 이들은 MPII, LSP, FLIC 벤치마크에서 최첨단 성과를 달성한다.

ABSTRACT

Pose Machines provide a sequential prediction framework for learning rich implicit spatial models. In this work we show a systematic design for how convolutional networks can be incorporated into the pose machine framework for learning image features and image-dependent spatial models for the task of pose estimation. The contribution of this paper is to implicitly model long-range dependencies between variables in structured prediction tasks such as articulated pose estimation. We achieve this by designing a sequential architecture composed of convolutional networks that directly operate on belief maps from previous stages, producing increasingly refined estimates for part locations, without the need for explicit graphical model-style inference. Our approach addresses the characteristic difficulty of vanishing gradients during training by providing a natural learning objective function that enforces intermediate supervision, thereby replenishing back-propagated gradients and conditioning the learning procedure. We demonstrate state-of-the-art performance and outperform competing methods on standard benchmarks including the MPII, LSP, and FLIC datasets.

연구 동기 및 목표

• 관절 포즈 추정을 위한 암시적 장거리 공간 의존성을 학습하는 시스템을 동기 부여하고 설계한다.
• 손으로 설계된 특징과 그래픽-모델 추론을 미분 가능하고 엔드-투-엔드로 학습 가능한 합성곱 아키텍처로 대체한다.
• 각 단계에서의 중간 감독을 통해 깊은 순차 네트워크의 기울기 소실을 해결한다.
• 표준 포즈 벤치마크에서 최첨단 정확도를 입증하고 CPMs의 학습 스킴을 분석한다.

제안 방법

• 포즈-머신 예측기를 다단계 합성곱 네트워크로 교체하여 각 단계에서 각 부위에 대한 belief maps를 예측한다.
• 각 단계는 이미지 증거와 이전 단계의 신념 맵을 사용하여 정제된 신념 맵을 생성하며, 이미지와 신념 맵 모두에서 큰 수용 영역을 가능하게 한다.
• 각 단계에서 신념 맵에 대해 L2 손실을 추가하여 엔드-투-엔드로 중간 감독을 도입하고 기울기 소실 문제를 완화한다.
• 단계들 간에 이미지 특징 맵을 공유하고 수용 영역을 점진적으로 확장하여 장거리 부위 관계를 포착한다.
• 최종 예측을 위해 데이터 증강 및 다중 스케일 신념 맵 융합과 함께 MPII, LSP, FLIC에서 평가한다.

실험 결과

연구 질문

• RQ1 그래픽 모델 추론 없이도 완전히 미분 가능하고 다단계 합성곱 아키텍처가 포즈 추정을 위한 암시적 공간 모델을 학습할 수 있는가?
• RQ2 깊고 계층화된 CNN에서 중간 감독이 구조적 예측의 기울기 소실을 효과적으로 완화하는가?
• RQ3 후반 단계에서의 수용 영역 확대가 장거리 부품 의존성의 정확도에 어떤 영향을 미치는가?
• RQ4 CPMs에서 엔드-투-엔드 공동 학습과 계층적 학습 또는 비감독 학습의 상대적 이점은 무엇인가?
• RQ5 CPMs가 MPII, LSP, FLIC 데이터셋에서 고정밀 및 저정밀 지표 모두에서 최첨단 성능을 달성하는가?

주요 결과

• The CPM은 MPII, LSP, FLIC 데이터셋에서 최첨단 결과를 달성한다.
• 중간 감독은 기울기 소실을 완화하고 다수의 층에 걸친 학습을 개선한다.
• 후반 단계의 더 큰 수용 영역은 긴 거리 부위 간 상호 작용의 모델링을 개선하고 정확도를 향상시킨다.
• 공동 최적화와 중간 손실을 포함한 엔드-투-엔드 학습은 단계별 또는 비감독 학습보다 현저히 우수하다.
• 실험에서 다섯 단계까지 성능이 향상되며, 여섯 번째 단계에서 수익이 감소한다.