[논문 리뷰] Skeleton-Based Action Recognition with Spatial Reasoning and Temporal Stack Learning

Chenyang Si, Ya Jing외 3명|arXiv (Cornell University)|2018. 05. 07.

Human Pose and Action Recognition참고 문헌 28인용 수 32

한 줄 요약

이 논문은 공간적 추론을 위한 잔차 그래프 신경망과 스킵 클립 LSTM를 사용한 시계열 스택 학습을 조합함으로써 고수준의 공간적 구조와 세밀한 시계적 동역학을 포착하는 새로운 스켈레톤 기반 행동 인식 모델인 SR-TSL을 제안한다. 이 방법은 NTU RGB+D 및 SYSU 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 교차 주제 기준으로 최대 84.8%의 정확도와 교차 시점 기준으로 92.4%의 정확도를 기록하였다. 추론 분석 및 수렴 분석을 통해 검증되었다.

ABSTRACT

Skeleton-based action recognition has made great progress recently, but many problems still remain unsolved. For example, most of the previous methods model the representations of skeleton sequences without abundant spatial structure information and detailed temporal dynamics features. In this paper, we propose a novel model with spatial reasoning and temporal stack learning (SR-TSL) for skeleton based action recognition, which consists of a spatial reasoning network (SRN) and a temporal stack learning network (TSLN). The SRN can capture the high-level spatial structural information within each frame by a residual graph neural network, while the TSLN can model the detailed temporal dynamics of skeleton sequences by a composition of multiple skip-clip LSTMs. During training, we propose a clip-based incremental loss to optimize the model. We perform extensive experiments on the SYSU 3D Human-Object Interaction dataset and NTU RGB+D dataset and verify the effectiveness of each network of our model. The comparison results illustrate that our approach achieves much better results than state-of-the-art methods.

연구 동기 및 목표

• 기존의 스켈레톤 기반 행동 인식 방법에서 공간적 구조 표현의 부족과 세밀한 시계적 동역학 모델링의 부족을 해결하기 위해.
• 긴 스켈레톤 시퀀스에서 세밀한 시계적 동역학을 포착함으로써 장기적 시퀀스 모델링을 향상시키기 위해.
• 새로운 학습 목표를 통해 모델 수렴을 가속화하고 정확도를 향상시키기 위해.
• 공간적 추론 및 시계열 스택 학습 구성 요소가 개별적으로나 조합적으로 어떻게 기여하는지 검증하기 위해.

제안 방법

• 공간적 추론 네트워크(SRN)는 각 신체 부위를 노드로 간주하여 신체 부위 간의 고수준 공간적 구조를 모델링하기 위해 잔차 그래프 신경망(RGNN)을 사용한다.
• 시계열 스택 학습 네트워크(TSLN)는 클립 간에 은닉 상태를 공유하는 다중 스킵 클립 LSTM을 활용하여 단기 동역학의 계층적 모델링을 가능하게 한다.
• 각 클립의 초기 은닉 상태는 이전 모든 클립의 최종 은닉 상태의 합으로 초기화되어 장거리 의존성을 유지한다.
• 스택 학습 과정을 최적화하기 위해 클립 기반 점진적 손실을 도입하여 수렴성과 성능을 향상시켰다.
• 시간적 표현을 풍부하게 하기 위해 두 개의 스트림 아키텍처를 사용하여 위치 시퀀스와 속도 시퀀스를 모두 처리한다.
• 이 방법은 NTU RGB+D 및 SYSU 3D Human-Object Interaction 데이터셋의 스켈레톤 시퀀스에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 단일 스켈레톤 프레임 내에서 신체 부위 간의 고수준 공간적 구조를 효과적으로 모델링할 수 있는가?
• RQ2 스킵 클립 LSTM의 스택은 표준 RNN보다 긴 스켈레톤 시퀀스에서 세밀한 시계적 동역학을 더 잘 포착할 수 있는가?
• RQ3 제안된 클립 기반 점진적 손실은 수렴성과 정확도 향상에 기여하는가?
• RQ4 공간적 추론 및 시계열 스택 학습 구성 요소는 벤치마크 데이터셋에서 개별적으로나 함께 기여하는 바가 얼마나 되는가?

주요 결과

• 제안된 SR-TSL 모델은 NTU RGB+D 교차 주제 벤치마크에서 84.8%의 정확도를 달성하여 이전 최신 기술 수준의 방법들을 능가하였다.
• 교차 시점 설정에서는 SR-TSL이 92.4%의 정확도를 기록하여 다양한 카메라 시점 간의 강력한 일반화 능력을 보였다.
• 추론 연구를 통해 공간적 추론 네트워크와 시계열 스택 학습 네트워크 모두 성능 향상에 기여하는 것으로 확인되었으며, 후자의 영향력이 더 크다는 점이 확인되었다.
• 클립 기반 점진적 손실은 수렴을 가속화하고 최종 정확도를 향상시켰으며, 특히 초기 학습 단계에서 두드러진 효과를 보였다.
• RGNN에서 클립 길이 $d \geq 6$ 및 타임스텝 $T \geq 5$에서 성능가 포화 상태에 도달함을 확인하였으며, 이 값 이상에서는 수익 감소 현상이 나타남을 시사하였다.
• 위치 및 속도 시퀀스를 모두 처리하는 두 개의 스트림 아키텍처는 단일 모odal을 사용하는 것보다 더 우수한 성능을 내었다.