[논문 리뷰] Differential Recurrent Neural Networks for Action Recognition

Vivek Veeriah, Naifan Zhuang외 1명|arXiv (Cornell University)|2015. 04. 25.

Human Pose and Action Recognition참고 문헌 31인용 수 97

한 줄 요약

이 논문은 행동 인식에서 중요한 시공간 동적 특성을 포착하기 위해 은닉 상태의 도함수(DoS)를 모델링하는 새로운 LSTM 변종인 미분 순환 신경망(dRNN)을 제안한다. 1차 및 2차 도함수를 게이팅 메커니즘에 통합함으로써 dRNN은 2D(KTH) 및 3D(MSR Action3D) 행동 인식 데이터셋에서 표준 LSTM과 경쟁력 있는 비-LSTM 모델을 능가하며, 행동 시퀀스에 대한 구조적 가정 없이도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

The long short-term memory (LSTM) neural network is capable of processing complex sequential information since it utilizes special gating schemes for learning representations from long input sequences. It has the potential to model any sequential time-series data, where the current hidden state has to be considered in the context of the past hidden states. This property makes LSTM an ideal choice to learn the complex dynamics of various actions. Unfortunately, the conventional LSTMs do not consider the impact of spatio-temporal dynamics corresponding to the given salient motion patterns, when they gate the information that ought to be memorized through time. To address this problem, we propose a differential gating scheme for the LSTM neural network, which emphasizes on the change in information gain caused by the salient motions between the successive frames. This change in information gain is quantified by Derivative of States (DoS), and thus the proposed LSTM model is termed as differential Recurrent Neural Network (dRNN). We demonstrate the effectiveness of the proposed model by automatically recognizing actions from the real-world 2D and 3D human action datasets. Our study is one of the first works towards demonstrating the potential of learning complex time-series representations via high-order derivatives of states.

연구 동기 및 목표

• 기존 LSTM이 행동 인식 과정에서 중요한 시공간 동적 특성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 은닉 상태의 고차 도함수를 사용하여 비디오 프레임 간 정보 획득의 변화를 명시적으로 모델링함으로써 행동 인식을 향상시키기 위해.
• 수작업된 시공간 가정에 의존하지 않고도 동적 운동 패턴에 민감한 일반 목적의 RNN 아키텍처를 개발하기 위해.
• 고차 도함수 상태의 효과가 비디오 행동 인식을 위한 순차적 표현 학습을 향상시키는 데 기여하는지 입증하기 위해.

제안 방법

• 은닉 상태 간의 변화율을 포착하는 도함수 상태(DoS)를 LSTM 게이팅 메커니즘의 새로운 입력으로 도입하며, DoS는 연속 프레임 간 은닉 상태의 변화율을 기록한다.
• LSTM의 입력, 출력, 무시 게이트에서 1차 및 2차 DoS를 계산하고 활용하는 미분 RNN(dRNN) 아키텍처를 설계한다.
• 기울기 소실/폭발 문제를 완화하면서도 시간적 의존성을 유지하기 위해, 시간에 따라 잘라서 역전파(Truncated Backpropagation Through Time)를 사용하여 dRNN을 훈련한다.
• dRNN을 HOG3D 및 HOF와 같은 표준 시공간 특징과 통합함으로써 입력 표현을 수정하지 않고도 엔드 투 엔드 학습을 가능하게 한다.
• 일반화성과 성능 평가를 위해 dRNN 모델을 2D 및 3D 인간 행동 인식 데이터셋에 적용한다.

실험 결과

연구 질문

• RQ1 은닉 상태의 도함수를 모델링하면 행동 인식에서 동적 운동 패턴의 표현이 향상되는가?
• RQ2 LSTM 게이트에 고차 도함수(DoS)를 통합하면 표준 LSTM보다 행동 인식 작업에서 더 높은 성능을 내는가?
• RQ3 강력한 시공간 구조 가정에 의존하는 전용 모델과 비교했을 때 dRNN의 성능는 어떠한가?
• RQ4 구조적 수정 없이도 dRNN은 다양한 행동 인식 데이터셋에 일반화되는가?

주요 결과

• 2차 dRNN은 KTH-1 데이터셋에서 93.96%의 정확도를 기록하여 표준 LSTM(90.7%)과 다른 최신 기술 수준의 방법들을 능가했다.
• KTH-2 데이터셋에서는 2차 dRNN이 92.12%의 정확도를 달성하여 LSTM 기준선(87.78%)과 대부분의 비교 모델을 뛰어넘었다.
• 더 도전적인 MSR Action3D 데이터셋에서는 2차 dRNN이 92.03%의 정확도를 기록하며, 교차 주제 평가 조건에서도 강력한 성능을 보였다.
• 모든 데이터셋에서 표준 LSTM보다 dRNN이 일관되게 뛰어난 성능을 보이며, 중요한 운동 동적 특성에 대한 민감도 향상을 시사했다.
• 3D 깊이 데이터에 대한 기하학적 가정에 의존하지 않음에도 불구하고, SNV와 같은 전용 모델(93.09%)과 경쟁 가능한 결과를 달성했다.