[논문 리뷰] Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition

Zhimin Gao, Peitao Wang외 6명|arXiv (Cornell University)|2022. 10. 06.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 초점 관절 선택과 글로벌 부위 상호작용을 통해 공간 및 시간 모델링을 향상시키는 새로운 트랜스포머 기반 모델인 FG-STFormer을 제안한다. 시간 스트림에서 확장된 컨볼루션과 함께 초점 및 글로벌 어텐션 메커니즘을 통합함으로써, NTU-60, NTU-120, NW-UCLA에서 기존의 트랜스포머 및 GCN 기반 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Despite great progress achieved by transformer in various vision tasks, it is still underexplored for skeleton-based action recognition with only a few attempts. Besides, these methods directly calculate the pair-wise global self-attention equally for all the joints in both the spatial and temporal dimensions, undervaluing the effect of discriminative local joints and the short-range temporal dynamics. In this work, we propose a novel Focal and Global Spatial-Temporal Transformer network (FG-STFormer), that is equipped with two key components: (1) FG-SFormer: focal joints and global parts coupling spatial transformer. It forces the network to focus on modelling correlations for both the learned discriminative spatial joints and human body parts respectively. The selective focal joints eliminate the negative effect of non-informative ones during accumulating the correlations. Meanwhile, the interactions between the focal joints and body parts are incorporated to enhance the spatial dependencies via mutual cross-attention. (2) FG-TFormer: focal and global temporal transformer. Dilated temporal convolution is integrated into the global self-attention mechanism to explicitly capture the local temporal motion patterns of joints or body parts, which is found to be vital important to make temporal transformer work. Extensive experimental results on three benchmarks, namely NTU-60, NTU-120 and NW-UCLA, show our FG-STFormer surpasses all existing transformer-based methods, and compares favourably with state-of-the art GCN-based methods.

연구 동기 및 목표

• 기존 트랜스포머 모델이 모든 관절을 동일하게 취급하고 국소 다이내믹스를 효과적으로 모델링하지 못하는 한계를 해결하기 위해.
• 구분 가능한 국소 관절(초점 관절)에 집중하면서도 신체 부위 표현을 통해 전반적인 구조적 의존성을 유지함으로써 공간 모델링을 향상시키기 위해.
• 자기어텐션 메커니즘 내부에서 확장된 컨벌루션을 통합하여 짧은 범위의 운동 패턴을 명시적으로 캡처함으로써 시간 모델링을 향상시키기 위해.
• 교차어텐션을 통해 초점 관절과 신체 부위 간의 상호작용을 공동으로 학습하여 공간 의존성 표현을 향상시키기 위해.
• 그래프 컨volutional 네트워크(GCN)에 의존하지 않고 표준 골격 행동 인식 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 정보가 풍부한 초점 관절을 적응적으로 선택하고, 다중 헤드 자기어텐션을 사용하여 비정보성 관절을 제외한 채로, 관련성을 모델링하는 공간 트랜스포머인 FG-SFormer을 제안한다.
• 신체 부위 표현을 통한 구조적 맥락을 캡처하기 위해 글로벌 신체 부위 표현을 도입하고, 초점 관절과 신체 부위 간의 상호 교차어텐션을 통해 공간 협업을 향상시킨다.
• 확장된 컨벌루션을 글로벌 자기어텐션 메커니즘에 통합하여 국소 시간 운동 패턴을 명시적으로 모델링하는 시간 트랜스포머인 FG-TFormer을 설계한다.
• 이중 스트림 아키텍처를 사용하여, 공간 모델링을 위한 FG-SFormer과 시간 모델링을 위한 FG-TFormer을 모두 관절 및 부위 표현 기반으로 운영한다.
• 각 행동에 대해 정보성이 높은 관절을 식별하고 우선순위를 정하는 학습 가능한 어텐션 점수 메커니즘을 활용한다.
• 개선된 일반화 및 강인성을 위해 관절, 뼈, 관절 운동, 뼈 운동의 네 가지 모odalities의 특징을 융합한다.

실험 결과

연구 질문

• RQ1 골격 기반 행동 인식에서 트랜스포머 기반 모델이 국소적으로 구분 가능한 관절과 전반적인 신체 부위 구조를 효과적으로 모델링할 수 있는가?
• RQ2 기본 트랜스포머의 인도크티브 바이어스 부족 문제를 어떻게 보완하여 장기간의 골격 시퀀스에서 단기 시간 동역학을 포착할 수 있는가?
• RQ3 확장된 컨벌루션을 통해 국소 시간 패턴을 명시적으로 모델링하면, 행동 인식을 위한 트랜스포머의 시간 표현 학습에 향상이 이루어지는가?
• RQ4 교차어텐션을 통한 관절-부위 상호작용 모델링이 모든 관절에 대한 표준 자기어텐션보다 공간 의존성 학습을 향상시키는가?
• RQ5 순수한 트랜스포머 아키텍처가 표준 골격 행동 인식 벤치마크에서 최신 기술 수준의 GCN 기반 모델을 능가하거나 동등하게 성능을 내는가?

주요 결과

• FG-STFormer은 NTU-60(X-Sub)에서 92.6%의 Top-1 정확도를 기록했고, NTU-60(X-View)에서는 96.7%를 달성하여 기존의 모든 트랜스포머 기반 방법들을 능가했다.
• NTU-120에서 FG-STFormer은 X-Sub 기준 89.0%의 Top-1 정확도와 X-Set 기준 90.6%의 정확도를 기록했으며, 이는 이전 SOTA 방법인 STST보다 각각 0.1%와 1.6% 높은 성능이었다.
• NW-UCLA에서 FG-STFormer은 97.0%의 Top-1 정확도를 기록하여 이전 SOTA인 CTR-GCN을 0.5% 뛰어넘고 새로운 최신 기술 수준을 수립했다.
• 절단 실험 결과, 초점 관절 선택과 확장된 컨벌루션 통합이 성능 향상에 크게 기여하며, 특히 손, 발, 머리와 같은 미세한 동작을 포함한 행동에서 두드러진다.
• 시각화 결과, 초점 관절이 일관되게 핵심 신체 부위(예: 손, 발, 어깨)에 선택되었고, 어텐션 가중치는 행동 의미와 일치하는 의미 있는 관절-부위 상호작용을 보여주었다.
• 기본 트랜스포머 기반 모델 대비 FG-TFormer 블록이 미세한 동작 클래스에서 정확도를 향상시켜, 미세한 운동 패턴을 포착하는 데의 효과성을 입증했다.