[논문 리뷰] Skeleton-based Action Recognition via Temporal-Channel Aggregation

Shengqin Wang, Yongji Zhang외 5명|arXiv (Cornell University)|2022. 05. 31.

Human Pose and Action Recognition인용 수 25

한 줄 요약

이 논문은 시간-채널 적응형 융합을 통해 공간적·시간적 토폴로지를 동적으로 학습하고 주의(attention)로 다중 스케일 시공간 특징을 융합하는 Temporal-Channel Aggregation Graph Convolutional Network(TCA-GCN)를 제시하며 NTU RGB+D, NTU RGB+D 120, NW-UCLA 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

Skeleton-based action recognition methods are limited by the semantic extraction of spatio-temporal skeletal maps. However, current methods have difficulty in effectively combining features from both temporal and spatial graph dimensions and tend to be thick on one side and thin on the other. In this paper, we propose a Temporal-Channel Aggregation Graph Convolutional Networks (TCA-GCN) to learn spatial and temporal topologies dynamically and efficiently aggregate topological features in different temporal and channel dimensions for skeleton-based action recognition. We use the Temporal Aggregation module to learn temporal dimensional features and the Channel Aggregation module to efficiently combine spatial dynamic channel-wise topological features with temporal dynamic topological features. In addition, we extract multi-scale skeletal features on temporal modeling and fuse them with an attention mechanism. Extensive experiments show that our model results outperform state-of-the-art methods on the NTU RGB+D, NTU RGB+D 120, and NW-UCLA datasets.

연구 동기 및 목표

• Temporal와 Spatial 특징 집합의 균형을 맞추려는 skeleton 기반 동작 인식 향상에 대한 동기 부여.
• 공간 및 시간 토폴로지를 동적으로 학습하는 모델을 개발한다.
• 시간적 집계, 채널별 토폴로지 정제 및 주의 기반 다중 스케일 특징 융합을 통합한다.
• 다중 데이터 스트림에 대한 동적 융합 메커니즘을 제공하여 데이터셋 간 성능을 극대화한다.

제안 방법

• 공간 및 시간 토폴로지를 동적으로 학습하기 위해 Temporal-Channel Aggregation Graph Convolutional Networks (TCA-GCN)을 도입한다.
• 입력 특징으로부터 시간 가중치를 보정하는 Temporal Aggregation을 제안한다.
• 동적으로 학습된 채널별 토폴로지를 시간 토폴로지와 융합하기 위한 Channel Aggregation을 제안한다.
• TCA 블록 내에서 채널-별 토폴로지 모델링(S, Q)과 Temporal Aggregation(TA)을 통합한다.
• 주의 기반 융합이 있는 다중 스케일 골격 특징 융합을 위한 TF 모듈을 추가한다 (MSCONE 및 M attention).
• 적응 가중치를 위한 Algorithm 1을 사용하여 네 가지 스트림(뼈, 뼈 모션, 관절, 관절 모션)에 대한 동적 융합을 구현한다.

실험 결과

연구 질문

• RQ1 시간-채널 적응적 융합 프레임워크가 골격 기반 동작 인식에서 시간적 특징과 공간적 특징을 효과적으로 균형 잡을 수 있는가?
• RQ2 시간적 집계와 결합된 동적 채널별 토폴로지 정제가 다양한 데이터셋에서 인식 정확도를 향상시키는가?
• RQ3 주의를 활용한 다중 스케일 시간적 특징 융합이 동작 분류 성능에 어떤 영향을 미치는가?
• RQ4 NTU 및 NW-UCLA 데이터셋에서 고정 가중치 다중 스트림 융합보다 동적 융합 전략이 더 우수한가?

주요 결과

• NW-UCLA, NTU RGB+D, NTU RGB+D 120 데이터셋에서 최첨단 또는 경쟁력 있는 결과를 달성한다.
• 4-stream 동적 융합(4sD)을 갖춘 TCA-GCN은 여러 벤치마크에서 단일 스트림 및 고정 가중치 융합보다 정확도를 향상시킨다.
• 시간적 집계가 입력 특징을 사용해 시간 가중치를 보정하여 시간 역학 모델링을 향상시킨다.
• 채널별 토폴로지 모델링은 동적 공간 토폴로지를 학습하며, 시간 토폴로지와 결합될 때 더 풍부한 표현을 얻는다.
• 주의가 있는 다중 스케일 골격 특징 융합은 동작 의미의 모델링을 더 강화한다.