[논문 리뷰] Deep Kinematic Pose Regression

Xingyi Zhou, Xiao Sun외 3명|arXiv (Cornell University)|2016. 09. 17.

Human Pose and Action Recognition참고 문헌 33인용 수 4

한 줄 요약

이 논문은 인체 운동 기하학을 모델링하는 미분 가능 운동학 레이어를 딥 신경망 내부에 통합하여 구조적 제약 조건을 강제하는 방법을 제안한다. 인간의 몸체 운동학을 회전 각도의 미분 가능 함수로 모델링함으로써, 종단 간 훈련 중에도 구조적 타당성을 보장하며, Human3.6M 3D 인간 자세 추정 벤치마크에서 평균 오차 58.91 mm로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Learning articulated object pose is inherently difficult because the pose is high dimensional but has many structural constraints. Most existing work do not model such constraints and does not guarantee the geometric validity of their pose estimation, therefore requiring a post-processing to recover the correct geometry if desired, which is cumbersome and sub-optimal. In this work, we propose to directly embed a kinematic object model into the deep neutral network learning for general articulated object pose estimation. The kinematic function is defined on the appropriately parameterized object motion variables. It is differentiable and can be used in the gradient descent based optimization in network training. The prior knowledge on the object geometric model is fully exploited and the structure is guaranteed to be valid. We show convincing experiment results on a toy example and the 3D human pose estimation problem. For the latter we achieve state-of-the-art result on Human3.6M dataset.

연구 동기 및 목표

• 구조적 자세 추정의 고차원적이고 구조적인 문제에서 기하학적 일致성을 유지하는 데 도전한다.
• 이전 딥 러닝 방법에서 기하학적 타당성을 복구하기 위한 후처리 단계가 필요 없도록 한다.
• 뼈 길이, 관절 연결 구조 등 운동학 모델의 사전 지식을 직접 딥 신경망에 통합한다.
• 이 접근법이 깊이 기반 手 자세 추정을 넘어서 RGB 기반 3D 인간 자세 추정으로 일반화될 수 있는지 보여준다.
• 기하학적 제약 조건을 포함한 종단 간 훈련을 통해 Human3.6M 데이터셋에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 운동 매개변수(회전 각도)를 3D 관절 위치로 매핑하는 미분 가능 운동학 레이어를 도입하여 정방향 운동학을 사용한다.
• 표준 뼈대 매개변수인 뼈 길이와 관절 회전 각도를 사용하여 운동학 함수를 정의함으로써 기하학적 타당성을 확보한다.
• 딥 리서지드 네트워크(ResNet-50) 내부에 가속도 레이어를 학습 가능한 구성 요소로 통합하여 운동학 계산을 통해 역전파가 가능하도록 한다.
• 예측된 3D 관절 위치와 진짜 값 간의 관절 회귀 손실을 사용하여 네트워크를 종단 간 훈련한다.
• 훈련 중에 액자비율과 스케일 일관성을 유지하기 위해 경계 보존 리사이징과 바운딩 박스 정규화를 적용한다.
• 안정적인 훈련을 위해 배치 정규화, 가중치 감쇠, 모멘텀 기반 최적화 및 학습률 스케줄링을 사용한다.

실험 결과

연구 질문

• RQ1 미분 가능 운동학 모델이 인체 자세 추정에 효과적으로 딥 신경망에 통합될 수 있는가?
• RQ2 네트워크 아키텍처에 직접적으로 기하학적 제약 조건을 통합하면 후처리 방법보다 자세 추정 정확도가 향상되는가?
• RQ3 이 방법은 깊이 기반 수작업 자세 추정에서 RGB 기반 3D 인간 자세 추정으로 일반화될 수 있는가?
• RQ4 운동학 레이어를 포함한 종단 간 훈련이 관절 좌표 또는 운동 매개변수를 직접 회귀하는 것보다 더 효과적인가?
• RQ5 이 방법은 도전적인 Human3.6M 데이터셋에서 최신 기술 수준 성능을 달성하는가?

주요 결과

• 제안된 운동학 자세 회귀 방법은 Human3.6M 데이터셋에서 평균 오차 58.91 mm를 기록하여 표 1에 나열된 모든 이전 방법을 능가한다.
• 정성적 결과(표 2)에서 볼 수 있듯이, 뒤집힌 사지나 잘못된 뼈 길이 등의 구조적 잡음이 크게 감소한다.
• 직접 관절 회귀 후 운동학 피팅을 위한 후처리를 수행한 결과 성능이 악화되었으며, 이는 初기 기하학적 타당성이 매우 중요하다는 것을 시사한다.
• 운동 매개변수를 직접 회귀하는 데 실패한 것은 3D 회전 각도의 모호성과 고차원성 때문일 가능성이 크다.
• 통합 헤드를 사용하여 15개의 동작 전부에 대해 훈련한 모델은 동작별 특화 기반 모델보다 뛰어난 성능을 보이며 일반화 능력을 입증한다.
• 훈련 곡선은 훈련 손실이 감소하는 반면 테스트 손실은 정체되는 경향을 보이며, 과적합 또는 분포 이탈이 발생했음을 시사한다.