[논문 리뷰] TSGCNeXt: Dynamic-Static Multi-Graph Convolution for Efficient Skeleton-Based Action Recognition with Long-term Learning Potential

Dongjingdin Liu, Pengpeng Chen외 4명|arXiv (Cornell University)|2023. 04. 23.

Human Pose and Action Recognition인용 수 5

한 줄 요약

TSGCNeXt는 효율적인 뼈대 기반 행동 인식을 위한 동적-정적 다중그래프 컨볼루션 네트워크(DS-SMG)를 제안한다. 이는 파rameter 수를 줄이고 55.08% 빠른 훈련을 통해 장기적 시간 특징 학습을 가능하게 한다. NTU RGB+D 120에서 SOTA 성능을 달성하며, EMA를 활용한 다중스트림 융합을 통해 교차세트 기준 91.74%의 정확도와 교차개인자 기준 90.22%의 정확도를 기록한다.

ABSTRACT

Skeleton-based action recognition has achieved remarkable results in human action recognition with the development of graph convolutional networks (GCNs). However, the recent works tend to construct complex learning mechanisms with redundant training and exist a bottleneck for long time-series. To solve these problems, we propose the Temporal-Spatio Graph ConvNeXt (TSGCNeXt) to explore efficient learning mechanism of long temporal skeleton sequences. Firstly, a new graph learning mechanism with simple structure, Dynamic-Static Separate Multi-graph Convolution (DS-SMG) is proposed to aggregate features of multiple independent topological graphs and avoid the node information being ignored during dynamic convolution. Next, we construct a graph convolution training acceleration mechanism to optimize the back-propagation computing of dynamic graph learning with 55.08\% speed-up. Finally, the TSGCNeXt restructure the overall structure of GCN with three Spatio-temporal learning modules,efficiently modeling long temporal features. In comparison with existing previous methods on large-scale datasets NTU RGB+D 60 and 120, TSGCNeXt outperforms on single-stream networks. In addition, with the ema model introduced into the multi-stream fusion, TSGCNeXt achieves SOTA levels. On the cross-subject and cross-set of the NTU 120, accuracies reach 90.22% and 91.74%.

연구 동기 및 목표

• 복잡한 그래프 학습 메커니즘으로 인한 장기 시퀀스 뼈대 기반 행동 인식의 비효율성과 파rameter 병목 현상 해결.
• 기존 GCN 기반 방법에서 장시간 시퀀스를 모델링할 경우 정확도 저하와 훈련 속도 저하 문제 극복.
• 동적 그래프 연산 중 노드 정보를 유지하면서도 경량화된 그래프 학습 메커니즘 개발.
• 성능 저하 없이 그래프 컨볼루션의 역전파 효율성 최적화를 통한 더 빠른 훈련 구현.
• ConvNeXt 기반의 스테이지-컴pute-비율 조정 아키텍처로 GCN를 재구성하여 장기적 학습 잠재력 확보.

제안 방법

• 동적 및 정적 상호 연결 그래프를 분리하여 노드 정보를 유지하고 주의 기반 복잡성을 피하는 동적-정적 별도 다중그래프 컨볼루션(DS-SMG)을 제안.
• SMG 브랜치에서 다중 독립 인접 행렬의 특징을 집계하기 위해 포인트워이즈 컨볼루션을 사용하며, 주의 메커니즘 없이 학습 가능한 파ram터로 간주.
• 역전파 계산을 재구성하여 그래프 컨볼루션의 훈련 가속화 기법을 도입함으로써 역전파 시간을 66% 감소시키고 총 훈련 속도를 55.08% 향상.
• 장기 시퀀스 모델링에 최적화된 세 가지 핵심 블록 설계: TSGCNext 블록, 시간 스템 블록, 별도 시간 다운샘플링(DS) 블록.
• 딥 GCN 아키텍처에서의 효율성과 확장성 향상을 위해 스테이지 단위의 컴퓨팅 비율 조정과 분리 가능한 다운샘플링 도입.
• 정확도 향상을 위해 EMA(지수이동평균) 모델과 다중스트림 융합(joint, bone, motion)을 활용하여 도전적인 벤치마크에서도 성능 향상.

실험 결과

연구 질문

• RQ1 복잡한 주의 기반 메커니즘에 비해 단순하고 주의 기반 요소가 없는 그래프 학습 메커니즘이 더 적은 파rameter와 더 빠른 훈련으로 뼈대 기반 행동 인식에서 우수한 성능을 낼 수 있는가?
• RQ2 동적 그래프 컨볼루션을 어떻게 최적화하여 계산 효율성을 유지하면서도 노드 정보 손실을 방지할 수 있는가?
• RQ3 스테이지-컴퓨팅 비율 조정 기능이 있는 수정된 ConvNeXt 아키텍처가 GCN에서 장기적 시간 특징 학습에 얼마나 기여하는가?
• RQ4 그래프 컨볼루션 전용 훈련 가속 전략이 성능 저하 없이 훈련 시간을 크게 줄일 수 있는가?
• RQ5 EMA와 최적화된 스트림 전용 컴퓨팅 비율을 갖춘 다중스트림 융합이 NTU120와 같은 대규모 뼈대 데이터셋에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• TSGCNeXt는 NTU60 교차개인자 기준 94.47%의 정확도를 달성하며, 기존 ST-GCN++ 결과를 초월한다.
• NTU120에서 교차세트 기준 91.74%의 정확도와 교차개인자 기준 90.22%의 정확도를 기록하여 새로운 SOTA 기준 설정.
• 장기적인 순방향 전파에도 불구하고 최적화된 그래프 컨볼루션 역전파로 인해 훈련 속도가 55.08% 향상됨.
• DS-SMG 메커니즘이 동적 그래프 연산 중 노드 정보를 효과적으로 유지하며 복잡한 주의 모듈의 필요성을 피함.
• EMA와 최적화된 스테이지 컴퓨팅 비율을 갖춘 다중스트림 융합은 NW-UCLA를 포함한 모든 데이터셋에서 일관된 성능 향상을 가능하게 함. 특히 NW-UCLA에서 96.55%의 정확도 기록.
• 파rameter 폭증 없이도 더 긴 시퀀스에서도 정확도 향상을 유지하며 강력한 장기 학습 잠재력 입증.