[논문 리뷰] BlazePose: On-device Real-time Body Pose tracking

Valentin Bazarevsky, Ivan Grishchenko외 4명|arXiv (Cornell University)|2020. 06. 17.

Human Pose and Action Recognition참고 문헌 7인용 수 86

한 줄 요약

BlazePose는 단일 인원에 대해 33개의 키포인트를 출력하고 Pixel 2에서 30 FPS 이상으로 실행되는 경량 온-디바이스 포즈 추정기를 제공합니다. detector-tracker 파이프라인과 heatmap 보조 회귀 아키텍처를 사용합니다.

ABSTRACT

We present BlazePose, a lightweight convolutional neural network architecture for human pose estimation that is tailored for real-time inference on mobile devices. During inference, the network produces 33 body keypoints for a single person and runs at over 30 frames per second on a Pixel 2 phone. This makes it particularly suited to real-time use cases like fitness tracking and sign language recognition. Our main contributions include a novel body pose tracking solution and a lightweight body pose estimation neural network that uses both heatmaps and regression to keypoint coordinates.

연구 동기 및 목표

• 모바일 기기에서 고 프레임 속도로 실시간 2D 단일 인물 포즈 추정을 가능하게 한다.
• 피트니스 추적 및 수화 인식과 같은 응용 분야에서 포즈 정확도를 유지하면서 모델 크기와 계산을 줄인다.
• 추론 시 heatmap 분기를 제거할 수 있도록 경량 회귀 인코더와 heatmap 감독을 결합한다.
• 포즈 정렬을 초기화하고 안내하기 위해 빠른 온-디바이스 얼굴/상체 기반 검출기를 활용한다.
• 데이터 증가와 부분 가림(occlusion) 시뮬레이션 및 각 지점의 가시성 메커니즘을 도입해 가림된 관절을 처리한다.

제안 방법

• 가벼운 검출기가 포즈 영역을 초기화하고 tracker 네트워크가 각 프레임에서 keypoint 좌표와 존재 여부를 예측하는 detector-tracker 파이프라인을 제안한다.
• 단일 인물 시나리오에서 사람 위치의 프록시 역할로 빠른 온-디바이스 얼굴 검출기를 활용하여 사용자 중심 정렬 전략을 사용한다.
• BlazeFace, BlazePalm, COCO에서 가져온 33포인트 관절 토폴로지를 채택해 관련 모델과의 일관성을 유지한다.
• heatmap가 가벼운 임베딩을 감독하도록 하는 열지도-오프셋-회귀 네트워크를 학습하되, 추론 시 좌표에 대해서만 회귀를 사용한다.
• 추론 시 heatmap 출력을Discard하여 실시간 성능을 달성하고, 회귀 인코더의 그래디언트가 heatmap 피처로 역전파되지 않도록 해 좌표 정확도를 높인다.
• 포즈 priors 및 가림 시뮬레이션으로 데이터를 확장하고, 가림된 관절을 다루기 위한 각 지점 가시성 분류기를 포함한다.

실험 결과

연구 질문

• RQ1 가벼운 온-디바이스 모델이 rich한 33-point 토폴로지로 실시간 단일 인물 포즈 추정을 달성할 수 있는가?
• RQ2 추론 시 heatmap 헤드를 제거하는 것이 정확도 손실 없이 계산량을 크게 줄이는가?
• RQ3 빠른 얼굴 검출기로 초기화된 detector-tracker 파이프라인이 모바일 기기에서 단일 인물 포즈 추적을 견고하게 정렬할 수 있는가?
• RQ4 가림과 포즈 변동성이 온-디바이스 포즈 추정에 어떤 영향을 주며, 증강 및 가시성 모델링이 이를 완화할 수 있는가?
• RQ5 BlazePose와 OpenPose가 모바일 하드웨어 및 대표 데이터셋에서 정확도와 속도 면에서 어떻게 비교되는가?

주요 결과

• BlazePose는 중급 모바일 CPU(Pixel 2)에서 실시간 추론(30 FPS 이상)을 달성한다.
• 모델은 단일 인물에 대해 33개의 신체 키포인트를 출력하며, 학습 시 열지도와 회귀의 조합을 사용하고, 추론 시 속도를 위해 heatmap 분기를 버린다.
• 빠른 온-디바이스 얼굴 검출기에 의해 안내되는 detector-tracker 파이프라인이 효율적인 단일 인물 포즈 추적을 제공한다.
• OpenPose에 비해 BlazePose는 특히 Yoga/Fitness 포즈에서 온-디바이스 속도가 크게 향상되며 정확도도 경쟁력이 있다.
• 두 가지 모델 버전이 평가되었고: BlazePose Full(더 큰 용량) 및 BlazePose Lite(더 컴팩트), BlazePose Full은 피트니스 관련 포즈에서 OpenPose의 기본값을 상회했고, 두 BlazePose 버전은 모바일 하드웨어에서 상당한 속도 이점을 제공한다.