[논문 리뷰] Spatio-Temporal Graph Convolution for Skeleton Based Action Recognition

Chaolong Li, Zhen Cui외 3명|arXiv (Cornell University)|2018. 02. 27.

Human Pose and Action Recognition참고 문헌 43인용 수 31

한 줄 요약

이 논문은 뼈대 기반 동작 인식을 위한 공간시적 그래프 컨볼루션(STGC) 모델을 제안한다. 이 모델은 국소 컨볼루션 필터링과 순환 시퀀스 학습을 결합하여, 다항식 전개 기반의 다중 척도 그래프 컨볼루션 커널과 신호 매핑을 통해 동적 운동과 공간적 구조를 동시에 포착한다. 이로 인해 네 개의 벤치마크 데이터셋(NTU RGB+D에서 86.28%의 교차 주제 정확도 포함)에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Variations of human body skeletons may be considered as dynamic graphs, which are generic data representation for numerous real-world applications. In this paper, we propose a spatio-temporal graph convolution (STGC) approach for assembling the successes of local convolutional filtering and sequence learning ability of autoregressive moving average. To encode dynamic graphs, the constructed multi-scale local graph convolution filters, consisting of matrices of local receptive fields and signal mappings, are recursively performed on structured graph data of temporal and spatial domain. The proposed model is generic and principled as it can be generalized into other dynamic models. We theoretically prove the stability of STGC and provide an upper-bound of the signal transformation to be learnt. Further, the proposed recursive model can be stacked into a multi-layer architecture. To evaluate our model, we conduct extensive experiments on four benchmark skeleton-based action datasets, including the large-scale challenging NTU RGB+D. The experimental results demonstrate the effectiveness of our proposed model and the improvement over the state-of-the-art.

연구 동기 및 목표

• 딥 러닝을 활용하여 인간 동작 인식에서 비정규적이고 동적인 뼈대 구조를 모델링하는 과제를 해결한다.
• 기존의 그래프 기반 및 RNN 기반 방법의 한계를 극복하기 위해 국소 컨볼루션 필터링과 순환 학습을 통합한다.
• 이론적 보장이 있는 안정적이고 일반화 가능한 모델을 개발하여 동적 그래프 시퀀스에 적용한다.
• 교차 주제 일반화가 여전히 주요 과제로 남아 있는 대규모 복잡한 데이터셋인 NTU RGB+D와 같은 환경에서 성능을 향상시킨다.

제안 방법

• 접근 행렬의 다항식 전개를 사용하여 다중 척도 그래프 컨볼루션 커널을 설계하여 국소 수신장역할을 정의한다.
• 각 수신장 내에서 특징을 변환하기 위해 신호 매핑을 적용하여, 동적 그래프에서의 특징 학습을 가능하게 한다.
• 자기회귀이동평균(ARMA) 구조를 영감으로 삼아 시간적 및 공간적 필터링을 순환적으로 통합한다.
• 이론적 분석을 통해 모델 안정성을 확보하고, 신호 변환에 대한 상한선을 제공한다.
• 표현 능력을 향상시키기 위해 STGC 블록을 깊이 있는 다층 아키텍처로 스택한다.
• 숨은 상태를 시간에 따라 처리하는 순환 공식을 사용하여 운동 변화 인코딩과 공간적 특징 추출을 통합한다.

실험 결과

연구 질문

• RQ1 국소 컨볼루션 필터링과 순환 시퀀스 모델링을 통합하는 통합 프레임워크가 동적 뼈대 그래프에 효과적으로 작용할 수 있는가?
• RQ2 등변형 그래프 구조에 대해 불변성을 확보하면서 다중 척도 공간 및 시간 역학을 포착할 수 있도록 그래프 컨볼루션 커널을 어떻게 설계할 수 있는가?
• RQ3 제안된 순환 그래프 컨볼루션 모델의 안정성과 수렴성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 제안된 STGC 모델이 대규모 복잡한 뼈대 기반 동작 인식 벤치마크에서 기존 최신 기술 수준의 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 STGC 모델은 프lorencе 3D 데이터셋에서 99.07%의 정확도를 달성하여 거의 완벽한 성능에 가까운 성능을 보였다.
• 대규모 NTU RGB+D 데이터셋에서 STGC는 86.28%의 교차 주제 정확도를 기록하여 이전 최신 기술 수준의 방법(GCA-LSTM)을 3.48%포인트 뛰어넘었다.
• 프lorencе 데이터셋에서 그래프 커널 기반 방법보다 7% 이상 높은 성능를 기록하여 순환 컨볼루션 아키텍처의 우수성을 입증했다.
• 두 개의 스택된 STGC 레이어를 가진 깊은 아키텍처가 네 개의 모든 벤치마크 데이터셋에서 최고의 성능를 기록하여 계층적 설계의 확장성과 효율성을 확인했다.
• ImageNet에서의 사전 훈련 없이도 STGC는 뼈대를 이미지로 변환하는 CNN 기반 방법을 능가하여 뼈대 데이터에 대해 더 뛰어난 인덕티브 바이어스를 지닌 것을 확인했다.
• 스케일 간 신호 상호작용을 모델링하는 STGC K (dep.) 변종은 독립적인 신호 버전을 약간 뛰어넘어 스케일 간 특징 상호작용의 이점을 확인했다.