[논문 리뷰] Action recognition by learning pose representations

Alessia Saggese, Nicola Strisciuglio외 2명|arXiv (Cornell University)|2017. 08. 02.

Human Pose and Action Recognition참고 문헌 24인용 수 3

한 줄 요약

이 논문은 원형 스켈레톤에서 공간적 관계를 학습하여 스켈레톤 데이터를 사용해 인간 동작을 인식하는 학습 가능한 자세 검출기를 제안한다. 샘플 자세에 기반해 검출기를 자동으로 구성하고 관절 위치 점수를 통해 유사도를 측정함으로써, MSRDA 데이터셋에서 64%의 인식률을 달성하여 최신 기법들과 비교해 유사한 성능을 보여준다.

ABSTRACT

Pose detection is one of the fundamental steps for the recognition of human actions. In this paper we propose a novel trainable detector for recognizing human poses based on the analysis of the skeleton. The main idea is that a skeleton pose can be described by the spatial arrangements of its joints. Starting from this consideration, we propose a trainable pose detector, that can be configured on a prototype skeleton in an automatic configuration process. The result of the configuration is a model of the position of the joints in the concerned skeleton. In the application phase, the joint positions contained in the model are compared with the ones of their homologous joints in the skeleton under test. The similarity of two skeletons is computed as a combination of the position scores achieved by homologous joints. In this paper we describe an action classification method based on the use of the proposed trainable detectors to extract features from the skeletons. We performed experiments on the publicly available MSDRA data set and the achieved results confirm the effectiveness of the proposed approach.

연구 동기 및 목표

• 수동 특징 설계 없이 원형 스켈레톤 자세에서 학습 가능한 자세 검출기를 개발한다.
• 학습된 표현으로서의 관절 공간 배열을 모델링하여 동작 인식 성능을 향상시킨다.
• 학습 샘플에서 최적화 과정을 통해 자동으로 자세 검출기의 설정을 가능하게 한다.
• 수동으로 설계된 특징에 대한 의존도를 줄이기 위해 데이터에서 직접 분류 가능한 표현을 학습한다.
• 스켈레톤 기반 동작 인식에서 고정된 특징 검출기의 강력하고 학습 가능한 대안을 제공한다.

제안 방법

• 이 방법은 단일 원형 스켈레톤 자세에서 관절의 공간적 구성 방식을 학습하는 학습 가능한 검출기를 사용한다.
• 검출기는 유사한 관절의 위치 점수를 평가함으로써 테스트 스켈레톤과 원형 스켈레톤 간의 유사도를 계산한다. 이 때 공간적 이탈에 대한 내성도를 고려한다.
• 두 스켈레톤 간의 총 유사도는 개별 관절 위치 점수의 가중 조합으로 계산된다.
• 검출기 설정은 원형 자세 세트에서 검출기 파라미터를 최적화하는 자동 최적화 과정을 통해 수행된다.
• 이 방법은 COSFIRE 필터와 유사하게 검출기를 학습 가능한 특징로 간주하지만, 스켈레톤 기반 자세 표현에 적합하게 변형되었다.
• 이 방법은 프레임 단위로 자세 특징을 추출하고 이를 동작 인식에 사용하는 분류 파이프라인에 통합된다.

실험 결과

연구 질문

• RQ1 학습 가능한 검출기가 단일 원형 샘플에서 효과적인 공간적 자세 표현을 학습할 수 있는가?
• RQ2 학습된 자세 검출기의 성능가지 수동으로 설계된 또는 고정된 특징 기반 방법과 비교해 어떻게 되는가?
• RQ3 자동으로 검출기를 설정함으로써 전문가가 설계한 특징이 필요한 정도가 어느 정도 감소하는가?
• RQ4 자세 매칭 과정에서 관절 위치의 노이즈와 왜곡에 대해 이 방법은 얼마나 강건한가?
• RQ5 시간적 모델링과 결합했을 때 학습된 자세 표현이 다양한 동작 간에 잘 일반화되는가?

주요 결과

• 제안된 방법은 MSRDA 데이터셋에서 64%의 인식률을 달성하였으며, 스켈레톤 분석 기반 최신 기법들과 비교해 유사한 성능을 보였다.
• TSD, 3DTSD, Eigen Joints 등의 기존 기법들(모두 58% 이하)보다 성능이 뛰어났다.
• 가장 높은 성능을 보인 베이스라인 기법인 Joint Position은 68%를 기록하여, 제안된 방법이 매우 경쟁력이 있음을 시사한다.
• 검출기의 학습 가능성 덕분에 수동 특징 설계가 필요 없어지며, 도메인 전문 지식에 대한 의존도가 감소한다.
• 관절 위치 비교 시 내성도 덕분에 노이즈와 왜곡에 대해 강건함을 보였다.
• 이 방법은 확장 가능하며, 시간적 모델링과 특징 선택을 통합함으로써 효율성과 정확도를 향상시킬 수 있다.