[논문 리뷰] Global Context for Convolutional Pose Machines

Daniil Osokin|arXiv (Cornell University)|2019. 06. 10.

Robotic Mechanisms and Dynamics참고 문헌 29인용 수 6

한 줄 요약

이 논문은 컨volution 포즈 머신(CPM)의 경험적 수용 영역을 향상시키기 위해 U자형 글로벌 컨텍스트 모듈을 제안한다. 이는 전역적 환경 정보를 통합하여 단일 인물 포즈 추정 성능을 햖थ한다. 방법은 LIP 데이터셋에서 87.9%의 PCKh 정확도를 달성하며, 추론 속도가 160+ FPS에 이를 정도로 빠르며, 시계열 기반 네트워크보다 빠르면서도 경쟁 가능한 정확도를 유지한다.

ABSTRACT

Convolutional Pose Machine is a popular neural network architecture for articulated pose estimation. In this work we explore its empirical receptive field and realize, that it can be enhanced with integration of a global context. To do so U-shaped context module is proposed and compared with the pyramid pooling and atrous spatial pyramid pooling modules, which are often used in semantic segmentation domain. The proposed neural network achieves state-of-the-art accuracy with 87.9% PCKh for single-person pose estimation on the Look Into Person dataset. A smaller version of this network runs more than 160 frames per second while being just 2.9% less accurate. Generalization of the proposed approach is tested on the MPII benchmark and shown, that it faster than hourglass-based networks, while provides similar accuracy. The code is available at https://github.com/opencv/openvino_training_extensions/tree/develop/pytorch_toolkit/human_pose_estimation .

연구 동기 및 목표

• 전역적 컨텍스트 통합을 통해 CPM 기반 포즈 추정 네트워크의 경험적 수용 영역을 향상시키는 것.
• 전역적 컨텍스트 모델링을 통해 좌/우 키포인트 식별의 모호성과 다중 인물 시나리오 문제를 해결하는 것.
• 신규 데이터 증강 기법을 통해 몸통 부위를 마스킹하여 부식에 대한 내성을 향상시키는 것.
• CPM 기반 네트워크와 시계열 기반 아키텍처 간의 추론 효율성을 비교하는 것, 특히 GPU 및 CPU 환경에서의 성능을 분석하는 것.
• 임베디드 및 엣지 장치에 적합한 실시간 성능을 입증하는 것.

제안 방법

• 다중 스케일 풀링과 스킵 연결을 통해 글로벌 컨텍스트를 집계하는 U자형 컨텍스트 모듈을 제안하여 CPM 내 특징 표현을 향상시킨다.
• CPM 아키텍처에 U자형 모듈을 통합하여 전역적 환경 인식 능력을 갖춘 키포인트 히트맵을 정교화한다.
• 학습 중에 랜덤으로 몸통 부위를 마스킹하는 증강 전략을 적용하여 부식을 시뮬레이션하고 내성 향상을 도모한다.
• 일반화 성능 향상을 위해 스케일 [0.75, 1.0, 1.25]과 수평 반전을 사용한 다중 스케일 테스트를 시행한다.
• NVIDIA 프로파일러를 사용하여 추론 성능을 프로파일링하고, 특히 시계열 네트워크에서 1x1 컨볼루션의 성능 저하 요인을 규명한다.
• OpenVINO 툴킷을 사용하여 Intel CPU에 모델을 배포하여 실시간 추론 능력을 검증한다.

실험 결과

연구 질문

• RQ1 전역적 컨텍스트 모듈을 사용하여 CPM 기반 포즈 추정 네트워크의 경험적 수용 영역를 효과적으로 향상시킬 수 있는가?
• RQ2 제안된 U자형 컨텍스트 모듈은 피라미드 풀링 및 아트로우스페이셜 피라미드 풀링 대비 포즈 추정 정확도와 효율성에서 어떻게 비교되는가?
• RQ3 몸통 부위 마스킹을 시뮬레이션하는 데이터 증강 기법이 일반화 능력과 실제 부식에 대한 내성 향상에 기여하는가?
• RQ4 시계열 기반 네트워크의 이론적 FLOPs가 더 높음에도 불구하고, 왜 제안된 CPM 기반 네트워크보다 느린가?
• RQ5 제안된 CPM 기반 네트워크는 고정밀도를 유지하면서도 CPU 및 GPU에서 실시간 추론을 달성할 수 있는가?

주요 결과

• 제안된 U자형 컨텍스트 모듈은 LIP 데이터셋에서 87.9%의 PCKh 정확도를 달성하여 이전 최고 성능 기록을 초월한다.
• 2단계 버전의 네트워크는 GPU에서 160+ FPS로 실행되며, 전체 모델 대비 정확도 저하율이 2.9%에 불과하다.
• OpenVINO를 사용한 Intel Core i7-6850K CPU에서 19.5 FPS의 성능을 기록하여 엣지 장치에의 배포 가능성을 입증한다.
• 원본 CPM 대비 25% 빠르며, 시계열 기반 네트워크보다 빠르면서도 MPII 데이터셋에서 정확도를 유사하거나 초월한다.
• 시계열 기반 네트워크의 성능 저하 요인은 1x1 컨볼루션 레이어로 규명되었으며, 이는 GPU 환경에서 메모리 기반으로 효율성이 떨어진다.
• 제안된 증강 기법은 특히 어려운 엉덩이 키포인트 위치 추정에 있어 성능 향상을 이룬다.