[논문 리뷰] Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation

Jonathan Tompson, Arjun Jain외 2명|arXiv (Cornell University)|2014. 06. 11.

Human Pose and Action Recognition참고 문헌 31인용 수 972

한 줄 요약

이 논문은 단일 영상에서 인간 자세 추정 성능을 햖थ기 위해, 키포인트 위치 탐지를 위한 딥 컨volution 네트워크(ConvNet)와 MRF(Markov Random Field) 기반의 공간 모델을 결합한 공동 학습 프레임워크를 제안한다. 양 구성 요소를 엔드 투 엔드로 훈련시킴으로써 구조적 사전 지식과 다중 해상도 특징을 활용하며, FLIC 및 LSP 데이터셋에서 기존 최고 성능(SOTA)을 초월하여 오차 임계값이 큰 경우 최대 12% 향상된 정확도를 달성한다.

ABSTRACT

This paper proposes a new hybrid architecture that consists of a deep Convolutional Network and a Markov Random Field. We show how this architecture is successfully applied to the challenging problem of articulated human pose estimation in monocular images. The architecture can exploit structural domain constraints such as geometric relationships between body joint locations. We show that joint training of these two model paradigms improves performance and allows us to significantly outperform existing state-of-the-art techniques.

연구 동기 및 목표

• 제약 조건이 없는 단일 영상에서 관절의 움직임이 복잡하고, 가림, 변형, 복잡한 외관 등으로 joint 위치 추정이 어려운 상황에서 인간 자세 추정 문제를 해결하기 위해.
• 기본적으로 부분 간 상호의존성을 명시적으로 모델링하지 않는 딥 러닝 모델에 기하학적 관계 등 구조적 사전 지식을 통합하기 위해.
• ConvNet 기반의 키포인트 탐지기와 공간 추론 모델을 동시에 최적화하는 통합 훈련 프레임워크를 개발하여 정확성과 강인성을 향상시키기 위해.
• 공간 모델에서 메시지 전파 기반 추론이 백프로파게이션을 통해 미분 가능하고 딥 러닝 파이프라인 내에서 훈련 가능한지 입증하기 위해.

제안 방법

• 겹치는 수신장( receptive fields)을 가진 다중 해상도 ConvNet을 사용하여 각 픽셀의 키포인트 위치 가능성도를 나타내는 히트맵을 생성한다.
• 루프가 있는 신뢰도 전파 기반의 공간 모델을 네트워크에 통합하여 MRF 추론을 근사하고, 관절 구성의 구조적 예측을 가능하게 한다.
• 공간 모델의 메시지 전파 메커니즘이 미분 가능하며, 표준 확률적 경사 하강법을 사용해 ConvNet과 함께 공동 훈련이 가능하도록 한다.
• 새로운 시나리오 분할 데이터셋인 FLIC-plus에서 엔드 투 엔드로 훈련하여 테스트 세트가 훈련 데이터와 독립적이도록 보장한다.
• 추론 중에 시나리오 내 다수의 사람을 명확히 하기 위해 토러스 경계 상자 히트맵 입력을 모델에 통합한다.
• 초기화 파rameter는 거친 메타 최적화를 통해 100ms 이내의 추론 예산 내에서 검증 성능을 최대화하도록 튜닝된다.

실험 결과

연구 질문

• RQ1 딥 ConvNet과 미분 가능한 그래픽 모델을 조합한 하이브리드 아키텍처가 현재의 SOTA 기법을 뛰어넘어 인간 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 ConvNet과 MRF 기반 공간 모델을 엔드 투 엔드로 공동 훈련하는 것이 신체 부위 간 상호의존성을 모델링하는 데 얼마나 효과적인가?
• RQ3 미분 가능한 공간 모델을 통해 구조적 사전 지식을 통합할 경우, 특히 가림이나 높은 관절 운동 상태에서 위치 오차는 어느 정도 감소하는가?
• RQ4 다중 해상도 특징 표현과 겹치는 수신장의 사용이 복잡한 시나리오에서 탐지 강인성을 향상시키는가?

주요 결과

• ConvNet과 MRF 기반 공간 모델을 공동으로 훈련시킴으로써, 키포인트 탐지기만 훈련시킨 경우 대비 큰 오차 임계값에서 정확도가 4–5% 향상되었다.
• 공간 모델만으로도 큰 반경 임계값에서 성능이 8–12% 향상되어, 공간적으로 일관된 관절 예측을 정교화하는 데 효과적임을 입증하였다.
• FLIC 테스트 세트에서 팔꿈치와 손목 관절의 위치 추정 성능이 뛰어나며, 큰 오차 반경에서 두드러진 향상이 있었다.
• LSP 데이터셋에서 사람 중심 좌표를 사용한 이전 SOTA 기법을 초월하여 성능을 확보하여, 다양한 데이터셋 간 일반화 능력을 입증하였다.
• 다중 해상도 뱅크를 추가함으로써 성능 향상이 이루어졌으며, 수신장 크기와 풀링 스테이지의 크기가 정확도에 상당한 영향을 미쳤다.
• 모델는 실시간에 가까운 속도로 작동하여 이미지당 추론 시간이 100ms 이내이며, 실용적 구현에 적합하다.