[논문 리뷰] Memory Attention Networks for Skeleton-based Action Recognition

Chunyu Xie, Ce Li외 5명|arXiv (Cornell University)|2018. 04. 23.

Human Pose and Action Recognition참고 문헌 15인용 수 26

한 줄 요약

이 논문은 뼈대 기반 행동 인식을 위한 엔드 투 엔드 딥 러닝 프레임워크인 메모리 어텐션 네트워크(MANs)를 제안한다. MANs는 시간적 어텐션 재보정을 위한 시간적 어텐션 재보정 모듈(TARM)과 공간-시간 특징 학습을 위한 공간-시간 컨볼루션 모듈(STCM)을 결합한다. MANs는 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, NTU RGB+D(크로스뷰)에서 93.22%의 정확도와 UT-Kinect에서 100%의 정확도를 기록하여 뼈대 데이터의 공간-시간 변동에 대해 뛰어난 강건성을 입증하였다.

ABSTRACT

Skeleton-based action recognition task is entangled with complex spatio-temporal variations of skeleton joints, and remains challenging for Recurrent Neural Networks (RNNs). In this work, we propose a temporal-then-spatial recalibration scheme to alleviate such complex variations, resulting in an end-to-end Memory Attention Networks (MANs) which consist of a Temporal Attention Recalibration Module (TARM) and a Spatio-Temporal Convolution Module (STCM). Specifically, the TARM is deployed in a residual learning module that employs a novel attention learning network to recalibrate the temporal attention of frames in a skeleton sequence. The STCM treats the attention calibrated skeleton joint sequences as images and leverages the Convolution Neural Networks (CNNs) to further model the spatial and temporal information of skeleton data. These two modules (TARM and STCM) seamlessly form a single network architecture that can be trained in an end-to-end fashion. MANs significantly boost the performance of skeleton-based action recognition and achieve the best results on four challenging benchmark datasets: NTU RGB+D, HDM05, SYSU-3D and UT-Kinect.

연구 동기 및 목표

• 행동 속도, 진동, 환경적 간섭 등의 복잡한 공간-시간 변동을 다루는 데 도전한다.
• 뼈대 기반 행동 인식에서 장기적 의존성 모델링 및 구분 가능한 관절 선택에 한계가 있는 RNN의 문제점을 해결한다.
• 어텐션 메커니즘과 CNN을 통합하여 시간적 및 공간적 구조를 함께 모델링함으로써 특징 표현을 향상시킨다.
• 학습 가능한 엔드 투 엔드 아키텍처를 개발하여 정확도를 향상시키면서도 네트워크 깊이와 복잡성에 대한 유연성을 유지한다.
• 다양한 데이터셋에서 강건한 행동 인식을 위해 시간-공간 재보정 전략을 검증한다.

제안 방법

• 새로운 어텐션 학습 네트워크를 사용하여 뼈대 시퀀스의 프레임 간 어텐션 가중치를 재보정하는 시간적 어텐션 재보정 모듈(TARM)을 제안한다. 이는 잔차 학습을 적용한다.
• 어텐션 재보정된 뼈대 시퀀스를 2D 유사 특징 맵으로 간주하고, CNN을 적용하여 공간-시간 의존성을 모델링하는 공간-시간 컨볼루션 모듈(STCM)을 도입한다.
• TARM을 잔차 블록 내에 통합하여 기울기 보존과 특징 학습 향상을 도모하는 통합형 엔드 투 엔드 아키텍처를 설계한다.
• TARM 내부의 메모리 메커니즘을 활용하여 프레임 간 맥락 인식 정보를 저장하고 업데이트함으로써 시간 모델링을 향상시킨다.
• STCM 내에서 다양한 CNN 아키텍처(예: ResNet-18, DenseNet-161)를 활용하여 모델 깊이와 성능 간의 트레이드오���을 탐색한다.
• 표준 역전파 알고리즘을 사용하여 전체 네트워크를 엔드 투 엔드로 학습시켜 어텐션 및 컨볼루션 특징의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 RNN과 비교해 메모리 보강 어텐션 메커니즘이 뼈대 기반 행동 인식에서 시간 모델링을 향상시키는가?
• RQ2 먼저 시간 어텐션을 재보정하고, 그 다음에 CNN을 적용하여 공간-시간 특징 학습을 수행하는 이중 단계 재보정 전략이 단일 단계 모델보다 성능이 뛰어나게 되는가?
• RQ3 어텐션과 CNN의 통합이 행동 속도나 진동과 같은 공간-시간 변동에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 제안된 MANs 아키텍처가 복잡성과 노이즈 수준이 다양한 다양한 데이터셋에 얼마나 잘 일반화되는가?
• RQ5 최대 정확도를 달성하면서 과적합을 방지하기 위해 STCM를 통한 네트워크 깊이와 모델 복잡성의 최적 균형은 무엇인가?

주요 결과

• MANs-9는 교차 주체 프로토콜에서 NTU RGB+D에서 83.01%의 정확도를 기록하여 기존 최신 기술 수준의 RNN 기반 방법보다 3.44% 향상되었다.
• MANs(DenseNet-161)는 교차 뷰 프로토콜에서 NTU RGB+D에서 93.22%의 정확도를 기록하여 기존 방법보다 5.62% 향상되었다.
• HDM05에서 MANs(ResNet-18)는 99.04%의 정확도를 기록하여 다층 RNN을 초월하며 뛰어난 운동 모델링 능력을 입증하였다.
• SYSU-3D에서 MANs-61은 이전 최고 성능을 기록한 방법(GCA-LSTM)보다 9.03% 높은 성능을 기록하여 시간-공간 재보정 전략의 효과를 입증하였다.
• UT-Kinect에서 MANs-9와 MANs(ResNet-18)는 모두 100%의 정확도를 기록하였으며, 이는 이전 최신 기술 수준의 GCA-LSTM보다 1.0% 향상된 결과이다.
• MANs-9와 같이 파rameter가 적은 모델이 Deep LSTM과 같은 더 깊은 RNN보다 뛰어난 성능을 보였으며, 이는 더 높은 파라미터 효율성과 더 나은 특징 학습 능력을 의미한다.