[논문 리뷰] Mix Dimension in Poincaré Geometry for 3D Skeleton-based Action Recognition

Wei Peng, Jingang Shi외 2명|arXiv (Cornell University)|2020. 07. 30.

Human Pose and Action Recognition참고 문헌 45인용 수 4

한 줄 요약

이 논문은 3D 스켈레톤 기반 동작 인식을 유럽식 공간보다 더 효과적으로 모델링하기 위해 포incare 기하학을 활용하는 새로운 공간-시간 그래프 컨볼루션 네트워크(ST-GCN)를 제안한다. 그래프 임베딩을 쌍곡 다양체로 투영하고, 층 간 차원을 혼합함으로써 기존 최고 성능 방법의 40% 크기의 모델로 NTU RGB+D 및 NTU RGB+D 120에서 최신 기술 수준(SOTA)의 정확도를 달성한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have already demonstrated their powerful ability to model the irregular data, e.g., skeletal data in human action recognition, providing an exciting new way to fuse rich structural information for nodes residing in different parts of a graph. In human action recognition, current works introduce a dynamic graph generation mechanism to better capture the underlying semantic skeleton connections and thus improves the performance. In this paper, we provide an orthogonal way to explore the underlying connections. Instead of introducing an expensive dynamic graph generation paradigm, we build a more efficient GCN on a Riemann manifold, which we think is a more suitable space to model the graph data, to make the extracted representations fit the embedding matrix. Specifically, we present a novel spatial-temporal GCN (ST-GCN) architecture which is defined via the Poincaré geometry such that it is able to better model the latent anatomy of the structure data. To further explore the optimal projection dimension in the Riemann space, we mix different dimensions on the manifold and provide an efficient way to explore the dimension for each ST-GCN layer. With the final resulted architecture, we evaluate our method on two current largest scale 3D datasets, i.e., NTU RGB+D and NTU RGB+D 120. The comparison results show that the model could achieve a superior performance under any given evaluation metrics with only 40\% model size when compared with the previous best GCN method, which proves the effectiveness of our model.

연구 동기 및 목표

• 행동 인식에서 계층적이고 비유클리드적인 그래프 구조의 스켈레톤 데이터를 모델링하는 데 있어 유클리드 공간의 한계를 해결하기 위해.
• 스켈레톤 데이터의 내재된 위상 구조를 더 잘 반영하는 그래프 표현을 학습하기 위해 더 적합한 리emann 다양체—특히 포incare 기하학—을 탐색하기 위해.
• 쌍곡 공간에서 각 층의 최적 투영 차원을 효율적으로 결정하기 위한 방법을 개발하여 특징의 구분 능력을 향상시키기 위해.
• 기존의 최신 기술 수준의 GCN 기반 접근법 대비 더 작은 모델 크기로도 뛰어난 행동 인식 성능을 달성하기 위해.

제안 방법

• 노드 특징과 그래프 임베딩을 포incare 다양체로 투영하여, 계층적이고 나무 모양의 구조를 갖는 이의 본질적 특성을 활용해 표현 학습을 향상시키기 위해.
• 탄성 공간 투영을 사용하여 컨볼루션을 수행함으로써, 탄성 공간과 다양체 사이의 전단사 사상에 기반해 쌍곡 기하학에서의 미분 가능한 연산을 가능하게 하기 위해.
• 각 층에서 최적의 임베딩 차원을 탐색하기 위해 차원 혼합 전략을 도입하여 적응성과 성능을 향상시키기 위해.
• 공간 컨볼루션을 포incare 다양체에서 정의하고, 그 다음으로 시간적 1D 컨볼루션을 수행하는 공간-시간 GCN 아키텍처를 구성하기 위해.
• 각 층의 계산 후에도 기하학적 구조를 유지하기 위해, 투영-백 메커니즘을 적용하기 위해.
• 평가를 위해 NTU RGB+D 및 NTU RGB+D 120 데이터셋을 사용하여 3D 스켈레톤 시퀀스에 모델을 적용하기 위해.

실험 결과

연구 질문

• RQ1 포incare 기하학은 3D 스켈레톤 그래프 시퀀스를 행동 인식에서 모델링하는 데 있어 유클리드 공간보다 더 효과적인 다양체를 제공할 수 있는가?
• RQ2 쌍곡 그래프 네트워크에서 각 층의 최적 차원을 어떻게 선택할 수 있는가? 이는 표현 학습을 향상시키는 데 기여하는가?
• RQ3 포incare 기반 ST-GCN은 정확도는 높이고 기존 GCN 방법보다 더 작은 모델 크기를 유지하면서도 기존 최고 성능 방법을 초월할 수 있는가?
• RQ4 제안된 방법은 대규모 데이터셋에서 다양한 평가 프로토콜(X-subject, X-view, X-setup)에 대해 일반화 가능한가?

주요 결과

• X-subject 평가 조건에서 NTU RGB+D에서 제안된 포incare 기반 ST-GCN은 89.7%의 정확도를 달성하여 이전 최고 성능 방법인 NAS-GCN(89.4%)을 뛰어넘었다.
• NTU RGB+D 120에서 X-setup 조건에서는 83.2%의 정확도, X-subject 조건에서는 80.5%의 정확도를 기록하여, 이전 최고 성능의 GCN 기반 방법보다 각각 4.3%와 2.8% 높은 성능을 보였다.
• 기존 최고 성능 방법(NAS-GCN) 대비 모델 크기를 40%로 줄여 뚜렷한 효율성 향상을 보였으며, 정확도 손실 없이도 성능을 유지했다.
• 차원 혼합 전략을 통해 각 층에서 최적의 투영 차원을 효과적으로 탐색할 수 있었고, 이는 특징의 구분 능력을 향상시켰다.
• 포incare 기하학의 사용으로 인해 더 구분력 있는 표현이 도출되었으며, 이는 대규모 데이터셋에서의 성능 향상으로 입증되었다.
• 이 방법은 동적 그래프 생성과 수직적 관계를 가지며, 동적 엣지 학습을 통한 계산 복잡도 증가 없이 성능 향상을 제공하는 보완적 접근법을 제공한다.