[논문 리뷰] Leveraging the Path Signature for Skeleton-based Human Action Recognition.

Weixin Yang, Terry Lyons외 4명|arXiv (Cornell University)|2017. 07. 13.

Human Pose and Action Recognition인용 수 39

한 줄 요약

이 논문은 뼈대 기반 인간 동작 인식을 위한 경로 서명 기반 특징 표현을 제안하며, 공간적 관계와 시간적 변화를 경로로 모델링하여 구분 가능한 공간적 및 시간적 서명을 추출한다. 이 방법은 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 최근의 딥 러닝 모델을 능가한다.

ABSTRACT

Human action recognition in videos is one of the most challenging tasks in computer vision. One important issue is how to design discriminative features for representing spatial context and temporal dynamics. Here, we introduce a path signature feature to encode information from intra-frame and inter-frame contexts. A key step towards leveraging this feature is to construct the proper trajectories (paths) for the data steam. In each frame, the correlated constraints of human joints are treated as small paths, then the spatial path signature features are extracted from them. In video data, the evolution of these spatial features over time can also be regarded as paths from which the temporal path signature features are extracted. Eventually, all these features are concatenated to constitute the input vector of a fully connected neural network for action classification. Experimental results on four standard benchmark action datasets, J-HMDB, SBU Dataset, Berkeley MHAD, and NTURGB+D demonstrate that the proposed approach achieves state-of-the-art accuracy even in comparison with recent deep learning based models.

연구 동기 및 목표

• 뼈대 기반 동작 인식에서 공간적 맥락과 시간적 역학을 동시에 포착하는 구분 가능한 특징을 설계하는 데 도전한다.
• 인간 관절 궤적을 비디오 시퀀스에 인코딩하기 위한 수학적 프레임워크로 경로 서명의 사용을 탐색한다.
• 프레임 내 공간 패턴과 프레임 간 시간적 변화를 통합한 통합된 특징 표현에 의해 동작 인식 정확도를 향상시킨다.
• 수작업 특징 접근 방식을 활용한 경로 서명 기반 방법이 표준 벤치마크에서 딥 러닝 기반 모델과 견줄 수 있거나 이를 초월할 수 있음을 입증한다.

제안 방법

• 각 비디오 프레임 내에서 관련된 인간 관절 제약 조건에서 공간 경로를 구축하여 공간 경로 서명 특징을 추출한다.
• 프레임 간 공간 특징의 시간적 변화를 시간 경로로 모델링하여 시간 경로 서명 특징을 추출한다.
• 공간 및 시간 경로 서명 특징을 결합하여 단일 벡터 표현으로 통합한다.
• 결합된 특징 벡터를 완전히 연결된 신경망에 입력하여 동작 분류를 수행한다.
• 경로 서명 프레임워크를 활용하여 뼈대 시퀀스의 기하학적 및 동역학적 성질을 수학적으로 엄밀하게 유지한다.
• 경로 서명의 계층적 및 비선형적 성질을 활용하여 뼈대 운동의 장거리 의존성을 포착한다.

실험 결과

연구 질문

• RQ1 경로 서명 특징은 인간 뼈대 시퀀스의 공간적 구성과 시간적 역학을 효과적으로 모델링할 수 있는가?
• RQ2 정확도 및 일반화 능력 측면에서 제안된 경로 서명 표현 방식은 딥 러닝 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ3 공간적 및 시간적 경로 서명 특징은 독립적으로나 함께 작용할 때 동작 인식 성능에 얼마나 기여하는가?
• RQ4 경로 서명 기반 비신경망 수작업 특징 접근 방식이 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 경로 서명 기반 방법은 J-HMDB 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 최근의 딥 러닝 모델을 능가한다.
• SBU 데이터셋에서, 이 방법은 동작 속도 및 카메라 시점의 변동성에 대해 강건하고 우수한 일반화 능력을 보여준다.
• 버클리 MHAD 데이터셋에서 높은 성능을 기록하여 다양한 인간 동작과 운동 스타일을 효과적으로 다룰 수 있음을 시사한다.
• NTURGB+D에서, 이 모델은 미세한 구분과 복잡한 동작을 포함한 여러 동작 카테고리에서 높은 정확도를 유지한다.
• 공간적 및 시간적 경로 서명 특징의 조합은 개별 구성 요소보다 더 구분 가능한 특징 표현을 제공한다.
• 결과는 경로 서명이 뼈대 기반 동작 인식에서 딥 네트워크의 강력한 대안이 될 수 있음을 확인한다.