[논문 리뷰] GCN-DevLSTM: Path Development for Skeleton-Based Action Recognition

Lei Jiang, Weixin Yang외 2명|arXiv (Cornell University)|2024. 03. 22.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 경로 개발 기반의 LSTM 모듈(G-DevLSTM)을 그래프 컬러리션 네트워크에 통합하여 시간적 동역학을 더 잘 포착하는 새로운 하이브리드 모델인 GCN-DevLSTM을 제안한다. 리만 군 기반의 경로 개발을 활용하여 차원 축소를 실현하고 비균일한 샘플링에 대해 강건성을 확보함으로써, NTU60, NTU120, Chalearn2013 데이터셋에서 기존 방법보다 최대 1.43% 높은 정확도를 달성하여 최신 기준 성능을 확립한다.

ABSTRACT

Skeleton-based action recognition (SAR) in videos is an important but challenging task in computer vision. The recent state-of-the-art (SOTA) models for SAR are primarily based on graph convolutional neural networks (GCNs), which are powerful in extracting the spatial information of skeleton data. However, it is yet clear that such GCN-based models can effectively capture the temporal dynamics of human action sequences. To this end, we propose the G-Dev layer, which exploits the path development -- a principled and parsimonious representation for sequential data by leveraging the Lie group structure. By integrating the G-Dev layer, the hybrid G-DevLSTM module enhances the traditional LSTM to reduce the time dimension while retaining high-frequency information. It can be conveniently applied to any temporal graph data, complementing existing advanced GCN-based models. Our empirical studies on the NTU60, NTU120 and Chalearn2013 datasets demonstrate that our proposed GCN-DevLSTM network consistently improves the strong GCN baseline models and achieves SOTA results with superior robustness in SAR tasks. The code is available at https://github.com/DeepIntoStreams/GCN-DevLSTM.

연구 동기 및 목표

• 기존 GCN 기반 모델이 스켈레톤 시퀀스 내 복잡한 시간적 동역학을 효과적으로 포착하지 못하는 한계를 해결하기 위해.
• 기본적인 $K\times1$ 컨볼루션 연산을 초월하여 스켈레톤 기반 행동 인식에서의 시간적 모델링을 향상시키기 위해.
• 거친 경로 이론에서 유래한 경로 개발을 학습 가능한, 효율적이고 강건한 시간 모듈로 통합하여 순차적 그래프 데이터에 적용하기 위해.
• 제안된 G-DevLSTM 모듈이 다양한 GCN 백본에 쉽게 통합 가능하고 성능 향상을 이끌 수 있음을 보여주기 위해.
• 실제 환경에서의 프레임 손실과 비균일한 프레임 레이트에 대한 모델의 강건성을 검증하기 위해.

제안 방법

• 시간에 따라 변화하는 노드 특징을 갖는 그래프 구조 데이터에 대해 원래 벡터 값 시계열에 대해 개발된 경로 개발 기법을 확장한 새로운 G-DevLSTM 모듈을 제안한다.
• 순차적 노드 특징을 경로로 표현하기 위해 리만 군 구조를 활용하여 원칙적이고 저차원적이며 미분 가능한 시간적 특징 추출을 가능하게 한다.
• 경로 개발 레이어를 LSTM과 통합하여 기울기 흐름을 향상시키고, 표준 컨볼루션 또는 서명 기반 방법보다 장거리 시간적 의존성을 더 효과적으로 포착한다.
• 각 채널가 개별적인 학습 가능한 인접 행렬을 갖는 토폴로지 공유가 없는 그래프(예: CTRGCN)를 사용하여 공간적 구조를 유지하면서도 탄력적인 시간 모델링을 가능하게 한다.
• G-DevLSTM 모듈을 플러그인 형태의 시간 블록으로 적용하여, 기존 GCN 아키텍처의 구조적 개편 없이 표준 시간 컨볼루션을 대체한다.
• 관절 특징을 독립적으로 G-DevLSTM 모듈를 통해 처리한 후 융합하는 다중 스트림 아키텍처를 도입하여 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 거친 경로 이론에서 유래한 경로 개발 기법이 그래프 구조의 스켈레톤 시퀀스에서 시간적 동역학을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 G-DevLSTM 모듈이 행동 인식을 위한 시간적 의존성을 포착하는 데 있어 표준 $K\times1$ 컨볼루션 및 서브젝처 기반 방법보다 우수한가?
• RQ3 실제 스켈레톤 데이터에서의 누락 프레임과 변동하는 프레임 레이트에 대해 G-DevLSTM 모듈의 강건성은 어떠한가?
• RQ4 G-DevLSTM 모듈이 다양한 GCN 백본에 원활하게 통합되어 일관되게 성능 향상을 이끌 수 있는가?
• RQ5 G-DevLSTM 모듈 내 각 구성 요소가 전체 모델 정확도에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• NTU60 데이터셋에서 GCN-DevLSTM은 X-sub에서 90.8%의 정확도를 기록했고, X-view에서는 95.7%를 달성하여 이전 최고 성능인 CTRGCN보다 각각 0.5%, 0.8% 높은 성능을 보였다.
• 더 큰 NTU120 데이터셋에서 모델은 X-sub에서 88.7%의 정확도를 기록했고, X-view에서는 93.1%를 달성하여 강력한 확장성과 성능을 입증했다.
• Chalearn2013 제스처 데이터셋에서 GCN-DevLSTM은 95.61%의 정확도를 기록하여 이전 최고 성능 방법보다 1.43% 높은 성능을 보였다.
• 제거 실험 결과 경로 개발 레이어를 제거할 경우 X-sub에서 정확도가 90.8%에서 90.5%로 가장 크게 하락함을 확인하여, 이 레이어가 정확도 향상의 주요 기여 요소임을 입증했다.
• 강건성 분석 결과 GCN-DevLSTM은 NTU60에서 모든 프레임 손실 비율에서 뛰어난 정확도를 유지하며, CTRGCN 및 GCN-LSTM 기준선보다 일관되게 뛰어난 성능을 보였다.
• NTU120와 Chalearn2013에서 서브젝처 기반 방법인 Logsig-RNN 및 Cheng 등(2023)보다 각각 10.4%, 2.75% 높은 성능을 기록하여, 경로 서브젝처보다 경로 개발 방식의 우수성을 입증했다.