[논문 리뷰] GCsT: Graph Convolutional Skeleton Transformer for Action Recognition.

Ruwen Bai, Min Li외 5명|arXiv (Cornell University)|2021. 09. 07.

Human Pose and Action Recognition참고 문헌 26인용 수 5

한 줄 요약

GCsT는 그래프 컬러리티 레이어 네트워크(GCNs)와 트랜스포머를 융합한 하이브리드 아키텍처를 제안하며, 국소적인 공간-시간적 의존성을 위해 GCN을 활용하고, 동적인 전역 주의력을 위해 트랜스포머를 사용한다. 이 모델은 NTU RGB+D, NTU RGB+D 120, 그리고 Northwestern-UCLA 데이터셋에서 국소적 토폴로지와 전역적 맥락을 통합한 유일한 표현력 있는 프레임워크를 통해 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Graph convolutional networks (GCNs) achieve promising performance for skeleton-based action recognition. However, in most GCN-based methods, the spatial-temporal graph convolution is strictly restricted by the graph topology while only captures the short-term temporal context, thus lacking the flexibility of feature extraction. In this work, we present a novel architecture, named Graph Convolutional skeleton Transformer (GCsT), which addresses limitations in GCNs by introducing Transformer. Our GCsT employs all the benefits of Transformer (i.e. dynamical attention and global context) while keeps the advantages of GCNs (i.e. hierarchy and local topology structure). In GCsT, the spatial-temporal GCN forces the capture of local dependencies while Transformer dynamically extracts global spatial-temporal relationships. Furthermore, the proposed GCsT shows stronger expressive capability by adding additional information present in skeleton sequences. Incorporating the Transformer allows that information to be introduced into the model almost effortlessly. We validate the proposed GCsT by conducting extensive experiments, which achieves the state-of-the-art performance on NTU RGB+D, NTU RGB+D 120 and Northwestern-UCLA datasets.

연구 동기 및 목표

• GCN 기반 방법에서 고정된 그래프 토폴로지의 한계를 해결하여 뼈대 기반 동작 인식에서의 민감한 특징 추출을 제한하는 문제를 해결한다.
• 기존 GCN 모델에서의 단기적 시간 맥락 제한을 극복하기 위해 전역적인 공간-시간 모델링을 가능하게 한다.
• 트랜스포머의 동적 주의력과 전역적 맥락의 장점을 GCN 아키텍처에 통합하면서도 계층적이고 국소적인 구조적 인덕티브 바이어스를 유지한다.
• 통합된 아키텍처를 통해 뼈대 시퀀스로부터 더 풍부한 정보를 통합함으로써 표현 능력을 향상시킨다.
• 다양한 벤치마크 데이터셋에서 뼈대 기반 동작 인식 분야에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 공간-시간 그래프 컬러리티 네트워크(GCNs)와 트랜스포머의 자기주의 메커니즘을 융합한 새로운 아키텍처인 GCsT를 제안한다.
• 사전 정의된 뼈대 토폴로지 기반으로 국소적인 공간-시간적 의존성을 명시적으로 모델링하기 위해 GCN을 사용한다.
• 모든 관절과 프레임 간의 장거리 공간-시간적 관계를 동적으로 학습하기 위해 트랜스포머 모듈을 통합한다.
• 모든 노드와 시간 단위를 대상으로 주의를 적용하여 국소적 수신장 이외의 전역 맥락을 포착한다.
• GCN 및 트랜스포머 브랜치의 출력을 융합하여 국소적 구조를 유지하면서도 전역 표현 능력을 향상시킨다.
• 최소한의 아키텍처 수정으로 뼈대 시퀀스로부터 추가 정보를 모델에 통합하며, 주의 메커니즘을 활용해 원활한 통합을 이룬다.

실험 결과

연구 질문

• RQ1 GCN과 트랜스포머를 융합한 하이브리드 아키텍처가 뼈대 기반 동작 인식에서 국소적 및 전역적 모델링을 향상시킬 수 있는가?
• RQ2 트랜스포머의 동적 자기주의 메커니즘이 뼈대 시퀀스의 장거리 의존성 모델링에 어떻게 기여하는가?
• RQ3 GCN을 통해 국소적 토폴로지를 유지함으로써 순수한 트랜스포머 기반 모델 대비 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 GCsT 모델은 아키텍처의 복잡성 증가 없이 더 풍부한 뼈대 시퀀스 정보를 효과적으로 통합할 수 있는가?
• RQ5 GCN과 트랜스포머 구성 요소의 융합이 표준 뼈대 동작 인식 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• GCsT는 NTU RGB+D 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 방법들보다 높은 동작 인식 정확도를 확보하였다.
• 더 큰 규모의 NTU RGB+D 120 데이터셋에서도 새로운 최신 기술 수준의 결과를 기록하여 모델의 확장성과 강건성을 입증하였다.
• Northwestern-UCLA 데이터셋에서 보고된 최고의 정확도를 확보하여 다양한 동작 인식 벤치마크에서의 일반화 능력을 확인하였다.
• 제거 실험을 통해 GCN과 트랜스포머 구성 요소가 성능 향상에 기여하며, 융합이 가장 우수한 성능을 내는 것으로 확인되었다.
• 모델은 국소적 의존성과 장거리 공간-시간적 관계를 효과적으로 포착하여 향상된 특징 표현을 이끌어냈다.
• 주의 메커니즘을 통해 추가적인 뼈대 시퀀스 정보가 원활하게 통합되었으며, 복잡성 증가 없이 모델의 표현 능력이 향상되었다.