[논문 리뷰] GroupFormer: Group Activity Recognition with Clustered Spatial-Temporal Transformer

Shuai Cheng Li, Qianggang Cao외 5명|arXiv (Cornell University)|2021. 08. 28.

Human Pose and Action Recognition참고 문헌 48인용 수 5

한 줄 요약

GroupFormer는 군집화된 공간-시간 트랜스포머(CSTT)를 사용하여 공간적 및 시간적 종속성을 동시에 모델링하는 새로운 트랜스포머 기반 프레임워크를 제안한다. 동적으로 개인들을 군집으로 묶고 내부 및 간접 군집 어텐션을 적용함으로써 표현 학습을 향상시켜 볼리볼 및 컬렉티브 액티비티 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 그룹 활동 인식 정확도가 94.1%에 이른다.

ABSTRACT

Group activity recognition is a crucial yet challenging problem, whose core lies in fully exploring spatial-temporal interactions among individuals and generating reasonable group representations. However, previous methods either model spatial and temporal information separately, or directly aggregate individual features to form group features. To address these issues, we propose a novel group activity recognition network termed GroupFormer. It captures spatial-temporal contextual information jointly to augment the individual and group representations effectively with a clustered spatial-temporal transformer. Specifically, our GroupFormer has three appealing advantages: (1) A tailor-modified Transformer, Clustered Spatial-Temporal Transformer, is proposed to enhance the individual representation and group representation. (2) It models the spatial and temporal dependencies integrally and utilizes decoders to build the bridge between the spatial and temporal information. (3) A clustered attention mechanism is utilized to dynamically divide individuals into multiple clusters for better learning activity-aware semantic representations. Moreover, experimental results show that the proposed framework outperforms state-of-the-art methods on the Volleyball dataset and Collective Activity dataset. Code is available at https://github.com/xueyee/GroupFormer.

연구 동기 및 목표

• 이전 방법들이 공간적 및 시간적 관계를 별도로 다루거나 전반적인 어텐션 메커니즘을 사용해 노이즈를 유발하는 문제를 해결하기 위해, 그룹 활동 인식에서 공간-시간 종속성을 공동으로 모델링하는 데 목적이 있다.
• 의미적 유사성에 기반해 개인들을 동적으로 군집화함으로써 그룹 표현 학습을 향상시키고, 관련 없는 상호작용으로 인한 간섭을 줄이기 위한 목적이 있다.
• 내부 그룹 및 외부 그룹 관계를 효과적으로 포착하는 엔드 투 엔드 학습 가능한 프레임워크를 구축하여 더 나은 활동 인식 특징 학습을 위한 목적이 있다.
• 기본 데이터셋에서 기존 최신 기술(SOTA) 방법들을 능가하는 것을 목표로 한다.

제안 방법

• 공간적 및 시간적 특징을 동시에 모델링하기 위해 스택된 인코더와 크로스 어텐션 디코더를 사용하는 맞춤형 수정된 트랜스포머 아키텍처인 군집화된 공간-시간 트랜스포머(CSTT)가 도입된다.
• 군집화된 어텐션 메커니즘은 개인들을 C개의 군집으로 동적으로 나누어 군집 내 국소적 정보 전파와 군집 간 전역적 상호작용 모델링을 가능하게 한다.
• 모델은 다중 CSTT 블록을 적용하기 전에 개별 및 시나리오 전체 맥락을 융합하기 위해 그룹 표현 생성기를 사용한다.
• 디코더는 공간적 및 시간적 특징 간 다리 역할을 하기 위해 크로스 어텐션 방식으로 사용되어 공간-시간 맥락의 통합 모델링을 가능하게 한다.
• 내부 그룹 어텐션(군집 내)과 외부 그룹 어텐션(군집 간)을 모두 활용하여 특징 학습을 향상시킨다.
• 아키텍처는 엔드 투 엔드 학습이 가능하며, 쿼리-키 메커니즘을 활용해 영상 시퀀스의 장거리 종속성을 모델링한다.

실험 결과

연구 질문

• RQ1 공동으로 공간적 및 시간적 종속성을 모델링하면 그룹 활동 인식 성능이 향상되는가?
• RQ2 의미적으로 관련된 그룹으로 개인들을 동적으로 군집화하면 표현 학습이 향상되고 관련 없는 상호작용으로 인한 노이즈가 감소하는가?
• RQ3 내부 그룹 및 외부 그룹 어텐션 메커니즘이 활동 인식 표현 학습에 어떻게 기여하는가?
• RQ4 최적의 정확도를 확보하기 위해 군집 수와 CSTT 블록 수는 얼마여야 하는가?
• RQ5 제안된 프레임워크는 표준 기준 데이터셋에서 기존 최신 기술(SOTA) 방법들을 능가할 수 있는가?

주요 결과

• GroupFormer는 볼리볼 데이터셋에서 그룹 활동 인식에 대해 94.1%의 정확도를 달성하여 이전 최신 기술(SOTA) 방법을 능가한다.
• 제거 실험 결과, 표준 공간-시간 트랜스포머를 군집화된 어텐션 메커니즘(CSTT)으로 대체하면 정확도가 93.4%에서 94.1%로 향상됨을 확인했다.
• 네 개의 군집을 사용할 경우 최고의 성능를 기록했으며, 한 개의 군집이나 다른 군집 수와 비교해 뚜렷한 향상이 있었다.
• 내부 그룹 및 외부 그룹 어텐션 메커니즘을 모두 사용할 경우 최고의 성능를 기록했으며, 정확도가 94.1%로 나타나 상호 보완적 이점이 있음을 입증했다.
• 세 개의 CSTT 블록을 스택할 경우 최고의 성능를 기록했으며, 네 개의 블록은 약간의 성능 저하를 유도해 특징 정제에 최적의 깊이가 있음을 시사했다.
• t-SNE 시각화 결과, 기준 모델 대비 CSTT 변종이 더 분류 가능하고 잘 분리된 특징 표현을 학습하는 것으로 확인되었다.