[논문 리뷰] Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates

Jun Liu, Amir Shahroudy외 3명|arXiv (Cornell University)|2017. 06. 26.

Human Pose and Action Recognition참고 문헌 68인용 수 9

한 줄 요약

이 논문은 뼈대 기반 행동 인식을 위한 시공간 LSTM 네트워크를 제안하며, 인간 관절의 트리 구조적 순회를 통해 시간적 동적 특성과 공간적 종속성을 모델링한다. 제안된 방법은 새로운 신뢰 게이트를 통한 노이즈에 강건한 성능과 LSTM 단위 내 다중 모odal 특징 융합을 통합하여 일곱 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Skeleton-based human action recognition has attracted a lot of research attention during the past few years. Recent works attempted to utilize recurrent neural networks to model the temporal dependencies between the 3D positional configurations of human body joints for better analysis of human activities in the skeletal data. The proposed work extends this idea to spatial domain as well as temporal domain to better analyze the hidden sources of action-related information within the human skeleton sequences in both of these domains simultaneously. Based on the pictorial structure of Kinect's skeletal data, an effective tree-structure based traversal framework is also proposed. In order to deal with the noise in the skeletal data, a new gating mechanism within LSTM module is introduced, with which the network can learn the reliability of the sequential data and accordingly adjust the effect of the input data on the updating procedure of the long-term context representation stored in the unit's memory cell. Moreover, we introduce a novel multi-modal feature fusion strategy within the LSTM unit in this paper. The comprehensive experimental results on seven challenging benchmark datasets for human action recognition demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 인간 관절 시퀀스의 시간적 및 공간적 종속성을 모델링하여 뼈대 기반 행동 인식을 향상시키기.
• LSTM 단위 내에서 학습 가능한 신뢰 게이트 메커니즘을 도입하여 3D 뼈대 데이터의 노이즈 문제를 해결하기.
• LSTM 프레임워크 내에서 다중 모달 특징 융합을 통해 특징 표현을 향상시키기.
• 인간 뼈대의 운동학적 구조를 트리 순회 전략을 사용하여 더 나은 공간적 맥락 모델링을 위해 활용하기.
• 다양한 벤치마크 데이터셋에서 행동 인식 분야에서 최신 기술 수준의 성능를 달성하기.

제안 방법

• 시간과 뼈대 내 인접성 양쪽에서 관절 위치를 처리하는 시공간 LSTM(ST-LSTM) 네트워크를 제안한다.
• 운동학적 관계를 기반으로 한 트리 구조적 순회를 사용하여 관절을 의미 있는 순서로 정렬한다.
• 각 시간 단계에서 입력 데이터의 신뢰도를 학습하는 '신뢰 게이트' 메커니즘을 도입하여 메모리 업데이트를 동적으로 조정한다.
• 각 관절의 기하학적 및 동적 특징을 융합하기 위해 LSTM 단위 내 다중 모달 특징 융합을 통합한다.
• 예측 기반의 신뢰 게이트를 사용하여 시간적 및 공간적 이웃의 맥락을 활용해 입력 신뢰도를 추정한다 (식 30 및 32).
• 시공간 표현 및 행동 분류의 공동 최적화를 위해 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 뼈대 시퀀스에서 공간적 및 시간적 종속성을 동시에 모델링하면 행동 인식 정확도가 향상되는가?
• RQ2 관절의 트리 구조적 순회 방식은 선형 또는 체인 기반 순회 방식보다 운동학적 관계를 더 잘 포착하는가?
• RQ3 학습 가능한 신뢰 게이트가 행동 인식에서 노이즈가 있는 뼈대 데이터에 대해 얼마나 강건성을 향상시키는가?
• RQ4 LSTM 단위 내에서의 다중 모달 특징 융합은 구분 능력 향상에 얼마나 효과적인가?
• RQ5 제안된 ST-LSTM에 신뢰 게이트를 적용한 모델이 다양한 벤치마크 데이터셋에서 기존 최신 기술 수준의 방법을 초월하는가?

주요 결과

• 제안된 트리 순회를 갖춘 ST-LSTM는 일곱 개의 모든 벤치마크 데이터셋에서 최고의 정확도를 달성하며, 이전 최신 기술 수준의 방법들을 능가한다.
• 신뢰 게이트 메커니즘은 ST-LSTM와 표준 LSTM 양쪽 모두 성능 향상을 이끌어내지만, 더 풍부한 맥락 정보를 제공하는 ST-LSTM에서 성능 향상이 더 뚜렷하다.
• 트리 순회 전략은 관절 체인 및 이중 관절 체인 순회 방식보다 성능이 뛰어나며, 의미 있는 관절 순서의 중요성을 입증한다.
• LSTM를 시간 평균 풀링으로 대체하면 성능이 크게 악화되며, 이는 순차적 동적 특성을 모델링하는 데서 RNN의 우수성을 확인한다.
• 신뢰 게이트를 갖춘 ST-LSTM는 최신 기술 수준의 성능를 달성하여, 시공간 종속성 모델링과 노이즈에 대한 강건성의 효과를 입증한다.
• 트리 순회에서 마지막에서 첫 번째로의 연결 방식이 인식 정확도를 더욱 향상시키며, 이는 이중 방향 맥락 전파의 이점이 있음을 시사한다.