[논문 리뷰] RePose: Learning Deep Kinematic Priors for Fast Human Pose Estimation

Hossam Isack, Christian Haene외 5명|arXiv (Cornell University)|2020. 02. 10.

Human Pose and Action Recognition참고 문헌 24인용 수 9

한 줄 요약

RePose는 저해상도에서 계층적이고 군집적인 특징 업데이트 메커니즘을 통해 학습된 운동학적 사전 지식를 통합함으로써 단일 이미지의 인간 자세 추정을 위한 경량이고 효율적인 딥 러닝 모델을 제안한다. 이 방법은 400만 파라미터와 135억 FLOPs로 LSP에서 최신 기술 수준의 정확도를 달성하고 MPII에서도 경쟁적인 성능을 보이며, 정규화나 압축 기법 없이도 더 큰 모델들을 능가한다.

ABSTRACT

We propose a novel efficient and lightweight model for human pose estimation from a single image. Our model is designed to achieve competitive results at a fraction of the number of parameters and computational cost of various state-of-the-art methods. To this end, we explicitly incorporate part-based structural and geometric priors in a hierarchical prediction framework. At the coarsest resolution, and in a manner similar to classical part-based approaches, we leverage the kinematic structure of the human body to propagate convolutional feature updates between the keypoints or body parts. Unlike classical approaches, we adopt end-to-end training to learn this geometric prior through feature updates from data. We then propagate the feature representation at the coarsest resolution up the hierarchy to refine the predicted pose in a coarse-to-fine fashion. The final network effectively models the geometric prior and intuition within a lightweight deep neural network, yielding state-of-the-art results for a model of this size on two standard datasets, Leeds Sports Pose and MPII Human Pose.

연구 동기 및 목표

• 감소된 파라미터 수와 계산 비용에도 불구하고 높은 정확도를 유지하는 경량의 인간 자세 추정 모델을 개발하는 것.
• 딥 네ural 네트워크에 인간 신체의 구조적 및 기하학적 사전 지식을 미분 가능하고 엔드 투 엔드로 훈련 가능한 방식으로 통합하는 것.
• MAP 추정이나 믿음 전파와 같은 고비용 추론 단계를 피하기 위해 운동학적 구조를 네트워크 아키텍처에 직접적으로 인코딩하는 것.
• 다중 척도 특징 업데이트 메커니즘을 통해 효율적인 계층적 정밀 조정을 가능하게 하는 것.
• 기존 최신 기술 수준의 방법보다 훨씬 작은 모델 크기를 유지하면서도 표준 벤치마크(LSP, MPII)에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 모델은 저해상도 특징 맵(16×16)에서 운동학적 특징 업데이트를 적용함으로써 공간적으로 일관된 예측을 전파하는 계층적 군집 정밀 조정 전략을 사용한다.
• 운동학적 특징 업데이트 모듈은 정해진 해부학적 순서(예: 허리에서 외측으로)에 따라 관절 키포인트 특징을 업데이트하며, 기존 및 새로운 특징을 결합하는 학습 가능한 가중치를 사용한다.
• 업데이트 메커니즘은 루프 없는 믿음 전파와 같은 근사 추론 알고리즘을 필요로 하지 않는 가벼운, 미분 가능한 모듈로 구현된다.
• 네트워크는 엔드 투 엔드로 훈련되어 데이터로부터 복잡한 비정규 분포의 관절 위치와 상대 구성에 대한 사전 지식을 학습할 수 있다.
• 특징 표현은 특징 피라미드를 통해 상향으로 전파되어 고해상도에서 예측을 정밀 조정하며, 최종적으로 가장 세밀한 해상도에서 히트맵 예측을 도출한다.
• 업데이트 메커니즘을 저해상도에 국한함으로써 파라미터 수와 FLOPs를 최소화하면서도 높은 정확도를 유지하도록 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 명시적인 그래픽 모델이나 고비용 추론 단계에 의존하지 않고도 딥 뉴럴 네트워크가 인간 자세 추정을 위한 복잡한 기하학적 및 구조적 사전 지식을 학습할 수 있는가?
• RQ2 가벼운, 미분 가능한 모듈에 인간 신체의 운동학적 구조를 인코딩하면 모델 크기와 추론 비용을 줄이면서도 정확도를 향상시킬 수 있는가?
• RQ3 특징 업데이트 순서(예: 중심에서 사지로 또는 머리에서 발끝으로)가 자세 추정 성능에 미치는 영향은 어떠한가?
• RQ4 정규화나 압축 기법 없이도 400만 파라미터의 모델이 LSP에서 최신 기술 수준의 성능을 달성하고 MPII에서 경쟁적인 결과를 낼 수 있는가?
• RQ5 가벼운 자세 추정 프레임워크에서 입력 해상도, 히트맵 시그마, 계산 비용 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• RePose는 400만 파라미터와 135억 FLOPs로 LSP 데이터셋에서 91.66%의 정확도, MPII에서 90.29%의 정확도를 달성하여 이 크기의 모델 중 최신 기술 수준을 설정한다.
• 특징 업데이트 모듈에 학습 가능한 혼합 가중치를 사용하면 단순 덧셈 대비 0.53% 향상되고 교체 대비 1.37% 향상되며, 파라미터 증가량은 극히 미미하다.
• 허리에서 외측으로 향하는 운동학적 업데이트 순서가 상향식 순서보다 LSP에서 0.42% 향상되고 MPII에서 0.70% 향상되어 해부학적 순서의 중요성을 입증한다.
• 입력 해상도를 128×128에서 256×256로 증가시켰더니 MPII 정확도가 0.55% 향상되었지만 FLOPs는 3.7배 증가하여 강력한 계산-정확도 트레이드오프가 있음을 시사한다.
• RePose 스테이지 수를 늘리면 LSP에서 92.99%, MPII에서 91.45%로 정확도가 향상되었지만, 파라미터 수와 FLOPs가 각각 두 배로 증가하였다.
• 업데이트 후 특징을 연결하여 히트맵을 동시에 예측하는 것은 LSP에서 0.45% 향상되고 MPII에서 0.35% 향상되었으며, 이는 각 업데이트 단계별로 독립적으로 예측하는 것이 더 효과적임을 보여준다.