[논문 리뷰] Exploiting the ConvLSTM: Human Action Recognition using Raw Depth Video-Based Recurrent Neural Networks

A. Sánchez-Caballero, David Fuentes-Jiménez외 1명|arXiv (Cornell University)|2020. 06. 13.

Human Pose and Action Recognition참고 문헌 60인용 수 22

한 줄 요약

이 논문은 인간 행동 인식을 위해 원시 깊이 영상 데이터를 직접 처리하는 두 가지 ConvLSTM 기반 순환 신경망을 제안한다. 상태 없는 및 상태 있는 장기 단기 기억 모드를 활용하여 시공간 특징을 추출한다. 상태 있는 모델은 NTU RGB+D에서 0.89초의 영상당 추론 시간으로 80.43%의 정확도를 달성하여 표준 및 상태 없는 변종보다 유의하게 뛰어나면서도 낮은 계산 비용을 유지한다.

ABSTRACT

As in many other different fields, deep learning has become the main approach in most computer vision applications, such as scene understanding, object recognition, computer-human interaction or human action recognition (HAR). Research efforts within HAR have mainly focused on how to efficiently extract and process both spatial and temporal dependencies of video sequences. In this paper, we propose and compare, two neural networks based on the convolutional long short-term memory unit, namely ConvLSTM, with differences in the architecture and the long-term learning strategy. The former uses a video-length adaptive input data generator (\emph{stateless}) whereas the latter explores the \emph{stateful} ability of general recurrent neural networks but applied in the particular case of HAR. This stateful property allows the model to accumulate discriminative patterns from previous frames without compromising computer memory. Experimental results on the large-scale NTU RGB+D dataset show that the proposed models achieve competitive recognition accuracies with lower computational cost compared with state-of-the-art methods and prove that, in the particular case of videos, the rarely-used stateful mode of recurrent neural networks significantly improves the accuracy obtained with the standard mode. The recognition accuracies obtained are 75.26\% (CS) and 75.45\% (CV) for the stateless model, with an average time consumption per video of 0.21 s, and 80.43\% (CS) and 79.91\%(CV) with 0.89 s for the stateful version.

연구 동기 및 목표

• 깊이 영상 시퀀스에서 장기적인 시공간적 의존성을 효율적으로 모델링하기 위한 인간 행동 인식 과제를 해결하기 위해.
• 기본적으로 사용되지 않는 ConvLSTM 네트워크의 상태 있는 모드를 탐색하여 전체 영상 시퀀스 동안 분류 가능한 특징를 유지하고 누적시키기 위해.
• 운동 맵이나 스켈레톤 추출과 같은 사전 처리 없이 원시 깊이 영상 시퀀스를 직접 처리할 수 있는 엔드 투 엔드 학습 가능한 모델을 개발하기 위해.
• 기존의 동적 이미지 기반 방법과 비교하여 계산 비용을 줄이면서도 높은 정확도를 유지하기 위해.
• 장거리 시간적 모델링을 위한 상태 있는 ConvLSTM의 효과성을 복잡한 행동 인식 작업에서 검증하기 위해.

제안 방법

• 3D 텐서 입력에서 공간적 및 시간적 특징을 동시에 학습하기 위해 표준 LSTM 게이트를 컨볼루션 연산으로 대체한 ConvLSTM 유닛을 사용한다.
• 변동 가능한 영상 길이에 적응할 수 있는 상태 없는 입력 데이터 생성기를 사용하여, 시퀀스 자르기 없이 효율적인 미니배치 학습을 가능하게 한다.
• 전체 영상 시퀀스에 걸쳐 은닉 상태와 셀 상태를 유지하는 상태 있는 ConvLSTM 변종을 구현하여 장기적인 시간적 맥락을 보존한다.
• 학습 안정성과 수렴을 향상시키기 위해 학습률 범위 테스트, 사이클릭 학습률 스케줄링, 배치 정규화와 같은 딥 러닝 최적화 기법을 적용한다.
• NTU RGB+D 데이터셋의 원시 깊이 영상 시퀀스에서만 모델을 학습하고 평가하며, 3D 컨볼루션과 평균 풀링 분류기 헤드를 사용한다.
• 깊이 운동 맵이나 동적 이미지와 같은 중간 표현을 생성하지 않고 전체 영상 길이를 엔드 투 엔드로 처리한다.

실험 결과

연구 질문

• RQ1 상태 있는 ConvLSTM 아키텍처는 원시 깊이 영상에서 인간 행동 인식을 위한 장기적인 시공간 패턴을 효과적으로 학습할 수 있는가?
• RQ2 정확도와 계산 효율성 측면에서 상태 있는 ConvLSTM는 표준(상태 없는) ConvLSTM와 비교해 어떻게 성능을 내는가?
• RQ3 운동 맵이나 동적 이미지와 같은 수작업으로 만든 표현에 의존하는 방법보다 원시 깊이 영상에 직접 엔드 투 엔드 학습을 적용하는 것이 성능을 높이는가?
• RQ4 RNN의 상태 있는 모드를 활용할 경우, 긴 복잡한 영상 시퀀스에서 행동 인식 정확도는 어느 정도 향상되는가?
• RQ5 최신의 동적 이미지 기반 접근 방식과 비교해 제안된 방법은 훨씬 낮은 추론 시간으로 경쟁 가능한 정확도를 달성할 수 있는가?

주요 결과

• 상태 있는 ConvLSTM 모델은 NTU RGB+D 데이터셋에서 80.43%의 정확도를 달성하여 상태 없는 변종(75.26%)을 뛰어넘으며 장기 기억 유지의 효과성을 입증한다.
• 상태 있는 모델은 자르기 없이 전체 영상 시퀀스를 처리하여 모든 프레임에 걸쳐 시공간 맥락을 유지하며, 이는 더 높은 정확도에 기여한다.
• 상태 없는 ConvLSTM 모델은 영상당 평균 0.21초의 추론 시간으로 75.26%의 정확도를 달성하여 상태 있는 버전보다 훨씬 빠르다.
• 상태 있는 모델의 추론 시간은 영상당 0.89초로 상태 없는 버전보다 느리지만, 실시간 응용에 적합한 수준을 유지한다.
• 제안된 모델는 동적 이미지 기반 방법보다 극적으로 더 효율적이며, 영상당 최대 62.03초가 소요되는 반면 더 높은 정확도를 달성한다.
• 이 연구는 흔히 사용되지 않는 RNN의 상태 있는 모드가 특히 긴 시퀀스에서 영상 기반 행동 인식에 의미 있는 성능 향상을 제공한다는 것을 확인한다.