[논문 리뷰] hSMAL: Detailed Horse Shape and Pose Reconstruction for Motion Pattern Recognition

Ci Li, Nima Ghorbani외 6명|arXiv (Cornell University)|2021. 06. 18.

Human Pose and Action Recognition참고 문헌 19인용 수 14

한 줄 요약

이 논문은 37개의 말 장난감에서 유도된 말 전용 3D 관절 구조적 통계적 형태 및 자세 모델인 hSMAL을 소개한다. 이 모델은 2D 비디오 및 모션 캡처 데이터로부터 정확한 3D 재구성을 가능하게 하며, 평균 재구성 오차가 7 cm로 일반적인 SMAL 모델의 절반 수준이며, hSMAL에서 유도된 자세 시퀀스를 사용할 경우 ST-GCN을 통한 람니스 감지 성능이 향상된다.

ABSTRACT

In this paper we present our preliminary work on model-based behavioral analysis of horse motion. Our approach is based on the SMAL model, a 3D articulated statistical model of animal shape. We define a novel SMAL model for horses based on a new template, skeleton and shape space learned from $37$ horse toys. We test the accuracy of our hSMAL model in reconstructing a horse from 3D mocap data and images. We apply the hSMAL model to the problem of lameness detection from video, where we fit the model to images to recover 3D pose and train an ST-GCN network on pose data. A comparison with the same network trained on mocap points illustrates the benefit of our approach.

연구 동기 및 목표

• 동물의 운동 분석 향상을 위해 말의 형태와 자세에 특화된 세밀한 3D 모델을 개발하기 위해.
• SMAL과 같은 일반적인 동물 모델이 종 내 변이를 포착하지 못하는 한계를 보완하기 위해 다양한 말 장난감을 기반으로 훈련함으로써.
• 장난감에서 유도된 3D 통계 모델이 실제 말 해부학과 운동을 2D 이미지 및 모션 캡처 데이터로부터 정확히 재구성할 수 있는지 평가하기 위해.
• hSMAL 모델을 3D 자세 시퀀스를 사용하여 말의 람니스 감지라는 중요한 과제에 적용하기 위해.
• 모델 기반 자세 표현 방식(hSMAL)과 원시 모션 캡처 점 데이터를 비교하여 동물 운동의 패턴 인식 과제에서의 성능을 평가하기 위해.

제안 방법

• 37개의 말 장난감에서 학습된 선형 변형을 통해 얻은 형태 공간을 기반으로, 고유한 1,497개 정점 템플릿과 함께 새로운 말 전용 SMAL 모델(hSMAL)을 구축한다.
• hSMAL 모델을 함수 M(β, θ, γ)로 정의하며, β는 형태 계수를 나타내고, θ는 상대적 3D 관절 회전(자세)을 의미하며, γ는 이동을 나타낸다.
• 원래 SMAL 프레임워크에서 유도된 절차를 응용하여, 품종 및 연령에 따른 형태 변이에 중점을 두고 모델을 훈련시킨다.
• 실루엣 및 2D 키포인트 감독을 통해 3D 모션 캡처 데이터와 다중 시점 비디오에 hSMAL 모델을 피팅하고, 형태 및 자세 파rameter를 최적화한다.
• 하류 분류 작업을 위해 상대적 관절 각도(θ) 및 관절 위치를 추출하여 hSMAL 모델에 피팅된 3D 자세 시퀀스를 얻는다.
• 5개 클래스의 람니스 분류를 위해 hSMAL 및 모션 캡처 데이터에서 유도된 자세 시퀀스를 기반으로 공간-시간 그래프 컨볼루션 네트워크(ST-GCN)를 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 장난감에서 유도된 3D 통계 형태 모델이 2D 비디오 및 모션 캡처 데이터로부터 실제 말의 3D 재구성을 일반화하여 정확하게 수행할 수 있는가?
• RQ2 hSMAL 모델이 실제 말의 형태 및 자세 재구성을 일반적인 SMAL 모델보다 더 잘 수행하는가?
• RQ3 hSMAL에서 유도된 3D 자세 시퀀스는 람니스 감지와 같은 운동 패턴 인식 과제에 대해 안정적이고 정보가 풍부한 표현으로서 기능할 수 있는가?
• RQ4 hSMAL 자세 파rameter를 사용할 경우와 원시 3D 모션 캡처 관절 위치를 사용할 경우의 ST-GCN 람니스 분류 성능를 비교하면 어떻게 되는가?
• RQ5 hSMAL 기반 자세 시퀀스를 사용할 경우 데이터 증강이 람니스 분류 성능 향상에 기여하는가?

주요 결과

• hSMAL 모델은 실제 말에 대해 평균 3D 재구성 오차 7 cm를 기록하였으며, 이는 일반적인 SMAL 모델의 약 14 cm 오차의 절반 수준이다.
• hSMAL 기반 자세 시퀀스는 원시 3D 모션 캡처 점보다 유사하거나 略적으로 높은 람니스 분류 정확도를 제공하며, 7명의 피험자 평균 정확도는 33.0% (비교 대상 31.1%)를 기록한다.
• 시퀀스 반전을 통한 데이터 증강은 모든 입력 유형에서 성능 향상을 이끌었으며, 증강 조건에서 hSMAL 자세 파ram터의 평균 정확도가 가장 높아 35.3%에 도달했다.
• hSMAL 모델는 안정적이고 해부학적으로 타당한 말 운동 표현을 제공하며, 형태 사전 지식과 운동학적 제약 조건을 통해 잠재적인 가치를 기여할 수 있다.
• 모델은 마커가 없는 운동 분석을 가능하게 하여, 실제 환경에서 람니스 감지에 있어 웨어러블 센서보다 침습성이 낮은 대안을 제공한다.
• 이 방법은 장난감에서 유도된 3D 모델이 실제 말의 세밀한 운동 분석에 활용 가능함을 입증하며, 향후 비제한 환경에서의 구현 가능성을 뒷받침한다.