[논문 리뷰] Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition

Tailin Chen, Desen Zhou외 5명|arXiv (Cornell University)|2021. 08. 10.

Human Pose and Action Recognition참고 문헌 41인용 수 8

한 줄 요약

이 논문은 행동 인식을 위한 이중 헤드 공간-시간 그래프 네트워크를 제안하며, 굵은 및 미세한 뼈대 운동 패턴을 동시에 모델링한다. 두 가지 교차 헤드 어텐션을 갖춘 교차된 GCN 브랜치를 사용하여 특징 간 통신를 향상시키고, NTU RGB+D 60, NTU RGB+D 120 및 Kinetics-Skeleton 데이터셋에서 최신 기술 수준의 성능을 달성하여 미세한 동작의 인식을 크게 향상시킨다.

ABSTRACT

The task of skeleton-based action recognition remains a core challenge in human-centred scene understanding due to the multiple granularities and large variation in human motion. Existing approaches typically employ a single neural representation for different motion patterns, which has difficulty in capturing fine-grained action classes given limited training data. To address the aforementioned problems, we propose a novel multi-granular spatio-temporal graph network for skeleton-based action classification that jointly models the coarse- and fine-grained skeleton motion patterns. To this end, we develop a dual-head graph network consisting of two interleaved branches, which enables us to extract features at two spatio-temporal resolutions in an effective and efficient manner. Moreover, our network utilises a cross-head communication strategy to mutually enhance the representations of both heads. We conducted extensive experiments on three large-scale datasets, namely NTU RGB+D 60, NTU RGB+D 120, and Kinetics-Skeleton, and achieves the state-of-the-art performance on all the benchmarks, which validates the effectiveness of our method.

연구 동기 및 목표

• 기존 방법이 단일 해상도 표현에 의존함에 따라, 뼈대 기반 행동 인식에서 미세한 동작을 인식하는 데 도전하는 문제를 해결하기 위해.
• 행동 시퀀스에서 굵은 및 미세한 시간적 운동 패턴을 명시적으로 모델링하여 분류 능력을 향상시키기 위해.
• 다른 시간 해상도에서 특징을 처리하면서도 교차 브랜치 특징 향상을 가능하게 하는 효율적인 이중 헤드 아키텍처를 설계하기 위해.
• 교차 헤드 어텐션 메커니즘이 다양한 해상도 간 표현 학습을 향상시키는 데 미치는 영향을 검증하기 위해.
• NTU RGB+D 60, NTU RGB+D 120 및 Kinetics-Skeleton을 포함한 대규모 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 이 방법은 두 가지 교차된 브랜치를 갖춘 이중 헤드 그래프 신경망을 사용한다: 하나는 시간적으로 다운샘플된 굵은 특징을 위한 것이고, 다른 하나는 원본 해상도의 미세한 특징을 위한 것이다.
• 기본 GCN이 입력 뼈대 시퀀스에서 기본 특징을 추출한 후 두 브랜치로 분할된다.
• 굵은 헤드는 시간 해상도를 낮춘 특징을 처리하여 낮은 시간 해상도에서의 통합된 운동 패턴을 포착한다.
• 미세 헤드는 전체 시간 해상도를 유지하고, 임bedding 함수를 사용하여 세밀한 운동 표현을 생성한다.
• 교차 헤드 시간 및 공간 어텐션 메커니즘을 도입하여, 미세 헤드에서의 세밀한 맥락 정보를 굵은 헤드로 전달함으로써 그 표현 능력을 향상시킨다.
• 두 헤드의 최종 특징을 융합하여 이중 해상도 행동 분류를 수행하며, 복잡성과 성능의 균형을 맞추기 위해 모델 단순화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 굵은 및 미세한 시간적 운동 패턴을 함께 모델링하면 뼈대 데이터에서 행동 인식 성능가 향상되는가?
• RQ2 이중 헤드 그래프 네트워크는 다양한 공간-시간 해상도 간에 특징을 효과적으로 추출하고 공유할 수 있는가?
• RQ3 교차 헤드 어텐션 메커니즘이 굵은 및 미세 브랜치 간의 특징 표현을 향상시키는 데 미치는 영향은 무엇인가?
• RQ4 시간 다운샘플링 비율이 굵은 해상도 헤드가 의미 있는 운동 패턴을 포착하는 데 미치는 영향은 무엇인가?
• RQ5 단순화된 아키텍처는 뼈대 기반 행동 인식에서 모델 복잡성을 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 NTU RGB+D X-Sub에서 최신 기술 수준의 정확도 90.3%를 달성하여 이 벤치마크에서 이전 방법들을 능가한다.
• NTU RGB+D 60에서 모델은 93.4%의 정확도를 기록하여 다양한 행동 클래스에 대한 강력한 일반화 능력을 보였다.
• NTU RGB+D 120에서 모델은 88.7%의 정확도를 달성하여 더 큰 규모이자 더 복잡한 행동 집합에서도 효과적임을 확인했다.
• Kinetics-Skeleton에서 모델은 78.9%의 정확도를 기록하여 대규모이고 다양한 행동을 포함한 데이터셋에서도 뛰어난 강건성을 보였다.
• 제거 실험 결과, 교차 헤드 어텐션은 자기 학습 어텐션 대비 정확도를 0.3% 향상시키며, 특징 공유에 있어 그 가치를 입증했다.
• 粗모 헤드의 최적 시간 다운샘플링 비율은 1/2이며, 이 비율에서 가장 높은 성능를 기록했다. 더 높은 다운샘플링 비율은 핵심 프레임 손실로 인해 정확도를 떨어뜨린다.