[논문 리뷰] Relational Network for Skeleton-Based Action Recognition

Zheng Wu, Lin Li외 3명|arXiv (Cornell University)|2018. 05. 07.

Human Pose and Action Recognition참고 문헌 17인용 수 14

한 줄 요약

이 논문은 뼈대 기반 동작 인식을 위한 Attentional Recurrent Relational Network-LSTM (ARRN-LSTM)을 제안한다. 이는 Recurrent Relational Networks (RRN)를 통해 공간적 구성 요소를 모델링하고, 다층 LSTMs를 통해 시간적 동역학을 모델링하는 이중 스트림 아키텍처를 활용하며, 특징적인 신체 부위에 집중하는 적응형 주의 모듈을 포함한다. 이 방법은 NTU RGB+D, Florence 3D, MSRAction3D 데이터셋에서 기존의 CNN 및 RNN 기반 접근법을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the fast development of effective and low-cost human skeleton capture systems, skeleton-based action recognition has attracted much attention recently. Most existing methods use Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) to extract spatio-temporal information embedded in the skeleton sequences for action recognition. However, these approaches are limited in the ability of relational modeling in a single skeleton, due to the loss of important structural information when converting the raw skeleton data to adapt to the input format of CNN or RNN. In this paper, we propose an Attentional Recurrent Relational Network-LSTM (ARRN-LSTM) to simultaneously model spatial configurations and temporal dynamics in skeletons for action recognition. We introduce the Recurrent Relational Network to learn the spatial features in a single skeleton, followed by a multi-layer LSTM to learn the temporal features in the skeleton sequences. Between the two modules, we design an adaptive attentional module to focus attention on the most discriminative parts in the single skeleton. To exploit the complementarity from different geometries in the skeleton for sufficient relational modeling, we design a two-stream architecture to learn the structural features among joints and lines simultaneously. Extensive experiments are conducted on several popular skeleton datasets and the results show that the proposed approach achieves better results than most mainstream methods.

연구 동기 및 목표

• 원시 뼈대 데이터를 인식하기 위해 쓰이는 CNN 및 RNN 기반 방법의 구조적 정보 유지 능력에 한계가 있음을 해결하기 위해.
• 관절과 선 간의 관계를 효과적으로 모델링하는 Recurrent Relational Networks (RRN)을 도입하여 단일 뼈대 프레임에서의 공간적 특징 학습을 향상시키기 위해.
• 뼈대에서 추출한 관계 기반 특징에 다층 LSTM을 통합하여 시간적 모델링을 향상시키기 위해.
• 관절과 선에서의 보완적인 공간적 표현을 이중 스트림 아키텍처를 통해 추출하기 위해.
• 동작 인식 과정에서 특징적인 신체 부위에 집중하는 적응형 주의 메커니즘이 효과적인지 검증하기 위해.

제안 방법

• 이 방법은 이중 스트림 아키텍처를 사용한다: 한 스트림은 관절 기반 뼈대 그래프를 처리하고, 다른 스트림은 선 기반 그래프를 처리하며, 둘 다 단일 프레임 내의 공간적 구성 요소를 모델링하기 위해 Recurrent Relational Networks (RRN)를 사용한다.
• 각 스트림은 순차적인 뼈대 프레임 간의 시간적 동역학을 캡처하기 위해 다층 LSTMs를 적용한다.
• RRN 모듈과 LSTM 모듈 사이에 적응형 주의 모듈을 삽입하여 각 동작에 대해 가장 특징적인 뼈대 부분을 동적으로 강조한다.
• RRN 모듈은 노드(관절 또는 선) 간의 탄력적이고 반복적인 메시지 전달을 가능하게 하여 그래프 구조 데이터에서 장거리 의존성을 효과적으로 학습할 수 있다.
• 두 스트림의 출력은 연결되어 최종 분류기로 전달되어 동작 인식을 수행한다.
• 표준 최적화 기법을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 Recurrent Relational Networks (RRN)이 관절과 선 간의 구조적 관계를 유지하면서 단일 뼈대 프레임 내의 공간적 구성 요소를 효과적으로 모델링할 수 있는가?
• RQ2 적응형 주의 메커니즘의 통합이 특징적인 신체 부위에 집중함으로써 동작 인식 성능을 향상시키는가?
• RQ3 관절과 선을 별도로 처리하는 이중 스트림 아키텍처가 단일 스트림 접근법에 비해 관계 모델링을 어떻게 향상시키는가?
• RQ4 ARRN-LSTM 프레임워크가 표준 뼈대 기반 동작 인식 벤치마크에서 주류의 CNN 및 RNN 기반 방법을 능가할 수 있는가?
• RQ5 각 구성 요소(RRN, LSTM, 주의, 双스트림)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• NTU RGB+D 데이터셋에서 ARRN-LSTM은 교차 검증 정확도 89.6%와 교차 주체 정확도 81.8%를 기록하여 ST-GCN(88.3% 및 81.5%)과 VA-LSTM(87.6% 및 79.4%)을 능가한다.
• Florence 3D 데이터셋에서 ARRN-LSTM은 98.52%의 정확도를 기록하여 한 분할에서 Deep STGCK(99.07%)를 능가했으며, 최신 기술 수준의 방법들과 경쟁 가능했다.
• MSRAction3D 데이터셋에서 ARRN-LSTM은 95.0%의 정확도를 기록하여 Lie Group(92.5%)와 HBRNN(94.5%)를 능가했으며, ST-NBMIM(95.3%)와도 경쟁 가능했다.
• 제거 실험 결과 주의 모듈이 정확도를 2–5점 향상시키며, 두 스트림을 결합함으로써 성능이 2–3점 향상되어 상호 보완성이 입증되었다.
• RRN을 통한 공간 모델링과 다층 LSTMs를 통한 시간 모델링을 갖춘 이중 스트림 아키텍처는 기준 모델 대비 정확도 6–7점 향상으로 프레임워크의 효과성을 입증했다.