[논문 리뷰] Optimized Skeleton-based Action Recognition via Sparsified Graph Regression

Xiang Gao, Wei Hu외 3명|arXiv (Cornell University)|2018. 11. 29.

Human Pose and Action Recognition참고 문헌 69인용 수 15

한 줄 요약

이 논문은 통계적 학습을 통해 스파티-템포럴 그래프 구조를 최적화하여 특징 표현을 향상시키는 그래프 회귀 기반 그래프 컨volution 네트워크인 GR-GCN을 제안한다. 프레임 간 물리적, 비물리적, 시간적 연결을 모델링하고 스파arsity를 강제하여, 체비셰프 근사 스펙트럴 컨볼루션을 사용해 NTU RGB+D(77.9%), UT-Kinect(98.5%), Florence 3D(98.4%) 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

With the prevalence of accessible depth sensors, dynamic human body skeletons have attracted much attention as a robust modality for action recognition. Previous methods model skeletons based on RNN or CNN, which has limited expressive power for irregular skeleton joints. While graph convolutional networks (GCN) have been proposed to address irregular graph-structured data, the fundamental graph construction remains challenging. In this paper, we represent skeletons naturally on graphs, and propose a graph regression based GCN (GR-GCN) for skeleton-based action recognition, aiming to capture the spatio-temporal variation in the data. As the graph representation is crucial to graph convolution, we first propose graph regression to statistically learn the underlying graph from multiple observations. In particular, we provide spatio-temporal modeling of skeletons and pose an optimization problem on the graph structure over consecutive frames, which enforces the sparsity of the underlying graph for efficient representation. The optimized graph not only connects each joint to its neighboring joints in the same frame strongly or weakly, but also links with relevant joints in the previous and subsequent frames. We then feed the optimized graph into the GCN along with the coordinates of the skeleton sequence for feature learning, where we deploy high-order and fast Chebyshev approximation of spectral graph convolution. Further, we provide analysis of the variation characterization by the Chebyshev approximation. Experimental results validate the effectiveness of the proposed graph regression and show that the proposed GR-GCN achieves the state-of-the-art performance on the widely used NTU RGB+D, UT-Kinect and SYSU 3D datasets.

연구 동기 및 목표

• 스켈레톤 기반 행동 인식을 위한 GCN에서 고정되거나 히우리스틱 기반 그래프 구조의 한계를 해결하기 위해.
• 비정규 구조의 그래프 데이터에서 RNN이나 CNN보다 더 효과적으로 공간적 및 시간적 의존성을 모델링하기 위해.
• 다중 스파티-템포럴 프레임에서 통계 최적화를 통해 공통의 스파티피케이션된 그래프 구조를 학습하기 위해.
• 스펙트럴 GCN 프레임워크 내에서 최적화된 그래프 토폴로지와 3D 관절 좌표를 통합하여 특징 학습을 향상시키기 위해.
• 다중 프레임 스파티피케이션된 그래프 구조의 효과를 입증하여 인간 운동의 동적 변동성을 포괄하는 데 기여하는가를 검증하기 위해.

제안 방법

• 연속적인 스파티-템포럴 프레임의 다수 관측치로부터 최적의 스파티피케이션된 그래프 라플라시안을 학습하기 위해 그래프 회귀를 제안한다.
• 스파arsity를 강제하고 내부-프레임, 프레임 간, 시간적 연결을 포착하는 그래프 라플라시안에 최적화 문제를 설정한다.
• 강한 물리적 에지, 약한 비물리적 공간 에지, 프레임 간 관절 간 시간 연결을 포함하는 스파티-템포럴 그래프를 구성한다.
• 고차수 체비셰프 다항식 근사를 사용해 스펙트럴 그래프 컨볼루션을 효율적이고 표현력 있게 적용한다.
• 3D 관절 좌표를 노드 특징으로 사용하고 최적화된 그래프 구조를 입력으로 받아 엔드 투 엔드 행동 분류를 수행하는 GCN에 통합한다.
• 다중 시퀀스 간 공통 그래프 구조를 추정하기 위해 통계적 학습 프레임워크를 활용하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 데이터 기반 최적화된 그래프 구조는 수작업 또는 고정된 그래프 토폴로지보다 행동 인식 성능을 향상시킬 수 있는가?
• RQ2 연속적인 다중 프레임 간 스파티-템포럴 의존성을 뼈대의 그래프 구조적 표현에서 효과적으로 모델링할 수 있는가?
• RQ3 그래프 구조에 스파arsity를 강제함으로써 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 다양한 체비셰프 다항식 차수는 이 설정에서 스펙트럴 그래프 컨볼루션 성능에 어떤 영향을 미치는가?
• RQ5 비물리적 공간적 및 시간적 연결은 운동 변화 모델링에 어느 정도 기여하는가?

주요 결과

• 완전한 GR-GCN 모델은 NTU RGB+D 데이터셋에서 77.9%의 정확도를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• UT-Kinect 데이터셋에서는 98.5%의 정확도를 기록하여 최고의 기존 방법과 동일한 성능을 보이며, 유사한 행동 시퀀스가 많은 도전적인 데이터셋에서의 강건성을 입증한다.
• Florence 3D 데이터셋에서는 98.4%의 정확도를 기록하여 모든 베이스라인을 크게 능가하지만, 자동회귀 모델링을 사용하는 Deep STGC K를 제외한 모든 방법보다 뛰어나다.
• 아블레이션 연구 결과, 뼈대와 내부 연결만 있는 모델 대비 시간적 연결이 2.8%의 정확도 향상을 기여함을 확인하여 그 중요성을 입증한다.
• 체비셰프 다항식 차수 K=4가 모든 데이터셋에서 최고의 성능을 보였고, K=5는 과적합을 유도하여 성능 저하를 초래함을 확인하였다.
• 비물리적 내부 연결을 포함한 모델는 뼈대 전용 모델 대비 0.1%의 정확도 향상을 기록하여 관절 간 관계를 미세하게 모델링하는 데 유의미한 기여를 함을 시사한다.