[논문 리뷰] Self-Attention Network for Skeleton-based Human Action Recognition

Sangwoo Cho, M. H. Maqbool외 2명|arXiv (Cornell University)|2019. 12. 18.

Human Pose and Action Recognition참고 문헌 38인용 수 8

한 줄 요약

이 논문은 3D 스켈레톤 시퀀스 간의 장거리 시공간적 종속성을 포착하기 위해 자기주의 메커니즘을 활용하는 세 가지 변형(Self-Attention Network, SAN-V1, SAN-V2, SAN-V3)을 제안한다. 시간 세그먼트 네트워크(TSN)와 통합함으로써, 이 방법은 Kinetics-skeleton에서 기존 방법보다 Top-1 정확도 4.4% 및 Top-5 정확도 7.9% 향상되며, NTU RGB+D에서도 일관된 성능 향상을 보였다.

ABSTRACT

Skeleton-based action recognition has recently attracted a lot of attention. Researchers are coming up with new approaches for extracting spatio-temporal relations and making considerable progress on large-scale skeleton-based datasets. Most of the architectures being proposed are based upon recurrent neural networks (RNNs), convolutional neural networks (CNNs) and graph-based CNNs. When it comes to skeleton-based action recognition, the importance of long term contextual information is central which is not captured by the current architectures. In order to come up with a better representation and capturing of long term spatio-temporal relationships, we propose three variants of Self-Attention Network (SAN), namely, SAN-V1, SAN-V2 and SAN-V3. Our SAN variants has the impressive capability of extracting high-level semantics by capturing long-range correlations. We have also integrated the Temporal Segment Network (TSN) with our SAN variants which resulted in improved overall performance. Different configurations of Self-Attention Network (SAN) variants and Temporal Segment Network (TSN) are explored with extensive experiments. Our chosen configuration outperforms state-of-the-art Top-1 and Top-5 by 4.4% and 7.9% respectively on Kinetics and shows consistently better performance than state-of-the-art methods on NTU RGB+D.

연구 동기 및 목표

• RNN, CNN, 그래프-CNN가 스켈레톤 시퀀스에서 장거리 시간적 및 공간적 종속성을 포착하는 데 한계가 있음을 해결하기 위해.
• 3D 스켈레톤 데이터에서 자기주의 메커니즘을 통해 장거리 상관관계를 모델링하여 표현 학습을 향상시키기 위해.
• 자기주의와 시간 세그먼트 네트워크의 새로운 통합을 통해 대규모 스켈레톤 기반 동작 인식 벤치마크에서 성능을 향상시키기 위해.
• 프레임 간의 주의 패턴을 시각화하여 모델 행동의 해석 가능성 제공하기 위해.

제안 방법

• 스케일드 도트곱 주의를 사용하여 3D 스켈레톤 시퀀스에서 장거리 종속성을 모델링하기 위한 세 가지 변형(Self-Attention Network, SAN-V1, SAN-V2, SAN-V3)을 제안한다.
• 다중 헤드 자기주의를 적용하여 모든 프레임 간의 가중치 상관관계를 계산함으로써, 시간적 거리에 관계없이 국소적 및 전역적 맥락 모델링이 가능하다.
• 클립에서 단기적 특징을 추출하기 위해 시간 세그먼트 네트워크(TSN)를 통합하고, 여러 세그먼트의 예측을 공통화함으로써 통합한다.
• 예측을 세그먼트 간에 집계하기 위해 요소별 평균 풀링을 공통 함수로 사용하며, 최대 풀링보다 성능이 뛰어나다.
• SAN 블록에 입력하기 전에 스켈레톤 시퀀스에서 초기 특징을 추출하기 위해 3D CNN 백본을 활용한다.
• 최종 자기주의 레이어의 주의 가중치를 시각화하여 프레임 간 상관관계 분석 및 모델 행동의 해석 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 3D 스켈레톤 시퀀스에서 동작 인식을 위한 장거리 시공간적 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 자기주의를 시간 세그먼트 네트워크(TSN)와 통합함으로써 스켈레톤 기반 동작 인식 성능이 어떻게 향상되는가?
• RQ3 자기주의 기반 스켈레톤 인식에 최적의 네트워크 깊이, 주의 헤드 수, 공통 함수 설정은 무엇인가?
• RQ4 주의 패턴이 다양한 주체와 동작 간에 일관되고 해석 가능한 상관관계를 드러내는가? 이는 변동에 대한 강건성을 의미하는가?

주요 결과

• 제안된 TS-SAN-V2 및 TS-SAN-V3 모델은 Kinetics-skeleton 데이터셋에서 기존 최고 성능 방법보다 Top-1 정확도 4.4% 향상되고 Top-5 정확도 7.9% 향상되어 최고 성능을 달성하였다.
• NTU RGB+D 데이터셋에서는 기존 최고 성능 방법보다 일관되게 뛰어난 성능을 보이며 강력한 일반화 능력을 입증하였다.
• 요소별 평균 공통 함수는 요소별 최대 풀링보다 성능이 뛰어나며, 자기주의 출력의 미분 가능하고 가중 평균 성격과 더 잘 부합한다.
• 적절한 층 수와 주의 헤드 수의 균형을 확보할 때 최적의 성능을 달성한다. 너무 적거나 너무 많은 파rameter는 성능 저하를 초래한다.
• 주의 맵의 시각화 결과, 모델이 의미 있는, 동작에 특화된 장거리 상관관계를 학습하고 있음을 확인할 수 있었다. 예를 들어, '재킷을 입는다' 동작에서 프레임 31에서 프레임 0으로 강한 주의가 관측됨으로써, 주체나 시야 변화에 대해 강건함을 시사한다.
• 동일한 동작를 수행하는 다양한 주체 간에 일관된 주의 패턴을 포착함으로써, 모델이 잠재적이고 의미 있는 운동 구조를 학습하고 있음을 시사한다.