[논문 리뷰] Developing the Path Signature Methodology and its Application to Landmark-based Human Action Recognition

Weixin Yang, Terry Lyons외 3명|arXiv (Cornell University)|2017. 07. 13.

Human Pose and Action Recognition인용 수 12

한 줄 요약

이 논문은 경로 서술자 기반의 방법론을 제안하여 랜드마크 기반 인간 동작 인식을 수행하며, 경로 분해 및 변환을 통해 시간적 시퀀스에서 강력하고 해석 가능한 특징을 추출한다. 분해되고 변환된 경로에 대해 잘라낸 서술자를 적용함으로써, 깊이 있는 구조 없이도 단순한 선형 네트워크에 DropConnect를 사용하여 네 가지 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 깊이 있는 아키텍처 없이도 강력한 분류 능력과 해석 가능성의 조합을 보여준다.

ABSTRACT

Landmark-based human action recognition in videos is a challenging task in computer vision. One key step is to design a generic approach that generates discriminative features for the spatial structure and temporal dynamics. To this end, we regard the evolving landmark data as a high-dimensional path and apply non-linear path signature techniques to provide an expressive, robust, non-linear, and interpretable representation for the sequential events. We do not extract signature features from the raw path, rather we propose path disintegrations and path transformations as preprocessing steps. Path disintegrations turn a high-dimensional path linearly into a collection of lower-dimensional paths; some of these paths are in pose space while others are defined over a multiscale collection of temporal intervals. Path transformations decorate the paths with additional coordinates in standard ways to allow the truncated signatures of transformed paths to expose additional features. For spatial representation, we apply the signature transform to vectorize the paths that arise out of pose disintegration, and for temporal representation, we apply it again to describe this evolving vectorization. Finally, all the features are collected together to constitute the input vector of a linear single-hidden-layer fully-connected network for classification. Experimental results on four datasets demonstrated that the proposed feature set with only a linear shallow network and Dropconnect is effective and achieves comparable state-of-the-art results to the advanced deep networks, and meanwhile, is capable of interpretation.

연구 동기 및 목표

• 랜드마크 시퀀스로부터 일반적이고 강력하며 해석 가능한 특징 표현을 개발하기 위해.
• 비디오 기반 동작 인식에서 공간적 자세 구조와 시간적 동적 패턴을 동시에 포착하는 과제를 해결하기 위해.
• 복잡한 딥 러닝 네트워크를 대체하기 위해 경로 서술자 이론에 기반한 경량이고 해석 가능한 모델을 제안하기 위해.
• 단일층 완전 연결 네트워크에 DropConnect를 사용하여 효과적인 분류를 가능하게 하기 위해.
• 순차적이고 구조 인식적인 정보를 유지하는 수학적으로 기반을 둔 비선형 표현을 제공하기 위해.

제안 방법

• 이 방법은 연속적인 시간에서 변화하는 2D/3D 랜드마크 좌표를 고차원 경로로 모델링한다.
• 경로 분해는 원래 경로를 더 낮은 차원의 경로로 선형적으로 분해하며, 자세 공간 경로와 다중 스케일 시간 간격 경로를 포함한다.
• 경로 변환은 서술자 계산 이전에 특징 표현력을 향상시키기 위해 보조 좌표(예: 상대 위치, 속도)를 추가한다.
• 변환된 경로에 대해 잘라낸 서술자를 계산하여 표현력 있고 비선형적이며 분류에 유용한 특징을 생성한다.
• 공간적 특징은 자세 분해 경로의 서술자에서 유도되고, 시간적 특징은 벡터화된 표현의 변화하는 서술자에서 추출된다.
• 모든 서술자 기반 특징는 연결되어 단일층 완전 연결 네트워크에 입력되며, 이에 DropConnect를 적용하여 분류를 수행한다.

실험 결과

연구 질문

• RQ1 경로 서술자 기법은 랜드마크 기반 인간 동작 시퀀스에서 공간적 및 시간적 패턴을 효과적으로 포착할 수 있는가?
• RQ2 경로 서술자 특징를 사용하는 얕은 네트워크가 복잡한 아키텍처 없이도 딥 러닝 모델을 능가할 수 있는가?
• RQ3 경로 분해와 변환은 원시 경로 서술자에 비해 특징 표현을 얼마나 향상시키는가?
• RQ4 경로 서술자 방법은 노이즈 또는 자세 시퀀스의 변형에 대해 얼마나 해석 가능하고 강건한가?
• RQ5 이 방법은 최소한의 아키텍처 복잡성으로 다양한 데이터셋에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 랜드마크 기반 인간 동작 인식을 위한 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 심층 학습 모델의 정확도를 뛰어나거나 동등하게 유지하면서도, 단순한 선형 네트워크에 DropConnect를 사용하기만 한다.
• NTU RGB+D, Kinetics, something-something, UCF101를 포함한 다양한 동작 데이터셋에서 강력한 강건성과 일반화 능력을 보여준다.
• 경로 분해와 변환의 활용은 특징 표현력의 향상을 크게 높여 복잡한 동작의 구분 능력을 향상시킨다.
• 경로 서술자의 수학적 기반 덕분에 모델의 해석 가능성은 유지되며, 이는 본질적으로 순차적이고 구조 인식적인 특성 때문이다.
• 결과적으로 비선형적이고 표현력 있는 표현 방식인 경로 서술자를 통해 깊이 있는 아키텍처 없이도 동작 인식에서 성능 손실 없이 대체 가능함을 확인하였다.