[논문 리뷰] Spatial Temporal Graph Attention Network for Skeleton-Based Action Recognition

Lianyu Hu, Shenglan Liu외 1명|arXiv (Cornell University)|2022. 08. 18.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 논문은 공간-시간 그래프 어텐션 네트워크인 STGAT을 제안하며, 적응형이고 局소적인 어텐션 메커니즘을 통해 크로스-스페이스타임 의존성을 모델링함으로써 스켈레톤 기반 동작 인식을 향상시킨다. 공간 모듈에 공간-시간 모델링을 통합하고 특징 중복을 줄이기 위해 세 가지 경량 모듈을 도입함으로써, STGAT은 NTU RGB+D 60, NTU RGB+D 120, 그리고 Kinetics Skeleton 400에서 최신 기준 성능(SOTA)을 달성하였으며, NTU RGB+D 60(X-Sub)에서 92.8%의 top-1 정확도와 Kinetics Skeleton 400에서 39.2%의 정확도로 유사한 동작의 분류를 크게 향상시켰다.

ABSTRACT

It's common for current methods in skeleton-based action recognition to mainly consider capturing long-term temporal dependencies as skeleton sequences are typically long (>128 frames), which forms a challenging problem for previous approaches. In such conditions, short-term dependencies are few formally considered, which are critical for classifying similar actions. Most current approaches are consisted of interleaving spatial-only modules and temporal-only modules, where direct information flow among joints in adjacent frames are hindered, thus inferior to capture short-term motion and distinguish similar action pairs. To handle this limitation, we propose a general framework, coined as STGAT, to model cross-spacetime information flow. It equips the spatial-only modules with spatial-temporal modeling for regional perception. While STGAT is theoretically effective for spatial-temporal modeling, we propose three simple modules to reduce local spatial-temporal feature redundancy and further release the potential of STGAT, which (1) narrow the scope of self-attention mechanism, (2) dynamically weight joints along temporal dimension, and (3) separate subtle motion from static features, respectively. As a robust feature extractor, STGAT generalizes better upon classifying similar actions than previous methods, witnessed by both qualitative and quantitative results. STGAT achieves state-of-the-art performance on three large-scale datasets: NTU RGB+D 60, NTU RGB+D 120, and Kinetics Skeleton 400. Code is released.

연구 동기 및 목표

• 유사한 동작를 구분하는 데 핵심적인 짧은 시간적 의존성을 포착하지 못하는 기존 방법의 한계를 해결하기 위해.
• 공간 전용 및 시간 전용 모듈이 인접 프레임 간의 관절 간 정보 흐름을 저해하는 문제를 해결하기 위해.
• 직접적인 局소적 공간-시간 관계 모델링을 통해 유사 동작 쌍의 성능을 향상시키기 위해.
• 경량적이고 효과적인 모듈을 통해 국소적 공간-시간 특징 중복을 줄이기 위해.
• 대규모 스켈레톤 데이터셋에서 더 높은 효율성과 일반화 능력을 확보하면서 최신 기준 성능(SOTA)을 달성하기 위해.

제안 방법

• 공간-시간 모델링을 공간 모듈에 통합하여 직접적인 크로스-스페이스타임 정보 흐름을 가능하게 하는 일반적인 프레임워크인 STGAT을 제안한다.
• 이웃 프레임의 노드를 연결하여 국소적 공간-시간 그래프를 구성하며, 간선 가중치는 운동 패턴에 기반해 적응적으로 계산된다.
• 자기 어텐션의 수신 영역을 제한하기 위해 범위 축소 모듈을 도입하여 계산 비용과 중복을 줄인다.
• 정보가 많은 프레임을 강조하고 정적 또는 노이즈가 많은 프레임을 억제하기 위해 동적 시간 가중치 모듈을 적용한다.
• 미세한 운동 특징을 정적 자세 특징에서 분리하여 분류 성능을 향상시키기 위해 운동 분리 모듈을 개발한다.
• 최종 STGAT 블록에서 이중 경로 집계 전략을 적용하여 최소한의 파라미터 증가로 특징 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 공간-시간 모델링 프레임워크가 유사한 동작 인식을 위한 짧은 운동을 포착하는 데 있어 인과적 공간 전용 및 시간 전용 모듈을 능가할 수 있는가?
• RQ2 공간-시간 그래프에서 적응형이고 국소적인 간선 구축 방식이 고정 또는 조밀한 연결 방식보다 특징 표현에 어떻게 향상되는가?
• RQ3 어텐션 범위 제어, 동적 시간 가중치, 운동 분리에 대한 경량 모듈이 중복을 얼마나 줄이고 성능 향상에 기여하는가?
• RQ4 기존 최신 기준 성능(SOTA) 방법보다 STGAT이 유사한 동작 쌍에서 더 잘 일반화되는가?
• RQ5 기존 그래프 기반 모델보다 STGAT이 더 낮은 계산 비용과 메모리 사용량으로 SOTA 성능을 달성할 수 있는가?

주요 결과

• X-Sub 설정에서 NTU RGB+D 60 데이터셋에서 STGAT은 92.8%의 top-1 정확도를 기록하며 이전 최신 기준 성능(SOTA) 방법을 초월한다.
• NTU RGB+D 120에서 STGAT은 X-Sub 설정에서 88.7%의 top-1 정확도와 X-Set 설정에서 90.4%의 top-1 정확도를 기록하며 모든 이전 방법을 능가한다.
• Kinetics Skeleton 400에서 STGAT은 39.2%의 top-1 정확도와 62.8%의 top-5 정확도를 기록하며 새로운 최신 기준 성능(SOTA)을 수립한다.
• 제거 실험 결과, 제안된 세 가지 모듈이 성능 향상에 기여하며, 특히 유사한 동작를 구분하는 데서 두드러진 효과를 보인다.
• MS-G3D Net보다 더 적은 파라미터(2.4M)와 낮은 GFLOPs(14.6)로 뛰어난 효율성을 확보하며 우수한 성능을 달성한다.
• 시각화 결과, STGAT이 학습한 간선이 운동에 중요한 관절(예: '손 흔들기' 동작에서의 왼쪽 손)에 집중하는 반면, 기준 방법은 덜 집중적이거나 균일한 어텐션을 보인다.