[논문 리뷰] RNNs, CNNs and Transformers in Human Action Recognition: A Survey and a Hybrid Model

Khaled Alomar, Halil Ibrahim Aysel외 1명|arXiv (Cornell University)|2024. 06. 02.

Human Pose and Action Recognition인용 수 11

한 줄 요약

CNNs, RNNs, 및 Vision Transformers를 이용한 인간 행동 인식(HAR)에 대한 포괄적 고찰과 CNN–ViT 하이브리드 모델 제안, 트렌드 및 향후 방향에 대한 논의.

ABSTRACT

Human Action Recognition (HAR) encompasses the task of monitoring human activities across various domains, including but not limited to medical, educational, entertainment, visual surveillance, video retrieval, and the identification of anomalous activities. Over the past decade, the field of HAR has witnessed substantial progress by leveraging Convolutional Neural Networks (CNNs) to effectively extract and comprehend intricate information, thereby enhancing the overall performance of HAR systems. Recently, the domain of computer vision has witnessed the emergence of Vision Transformers (ViTs) as a potent solution. The efficacy of transformer architecture has been validated beyond the confines of image analysis, extending their applicability to diverse video-related tasks. Notably, within this landscape, the research community has shown keen interest in HAR, acknowledging its manifold utility and widespread adoption across various domains. This article aims to present an encompassing survey that focuses on CNNs and the evolution of Recurrent Neural Networks (RNNs) to ViTs given their importance in the domain of HAR. By conducting a thorough examination of existing literature and exploring emerging trends, this study undertakes a critical analysis and synthesis of the accumulated knowledge in this field. Additionally, it investigates the ongoing efforts to develop hybrid approaches. Following this direction, this article presents a novel hybrid model that seeks to integrate the inherent strengths of CNNs and ViTs.

연구 동기 및 목표

• HAR에서 CNNs, RNNs, 및 Vision Transformers (ViTs)의 진화를 조사한다.
• ViTs와 하이브리드 접근법을 포함한 행동 인식에 관한 최신 문헌을 분석한다.
• HAR를 위한 CNN과 ViTs를 결합한 새로운 하이브리드 모델을 제안하고 기존 모델과 비교한다.
• HAR에서의 트렌드, 도전 과제, 향후 연구 방향을 논의한다.

제안 방법

• HAR과 관련한 기초적인 CNN, RNN, 및 Transformer/VIT 문헌을 검토한다.
• vanilla RNN에서 주의 기반 Transformer 및 self-attention 메커니즘으로의 발전을 설명한다.
• Vision Transformers가 HAR를 위해 시공간적 비디오 데이터에 어떻게 적용되는지 설명한다.
• HAR를 위한 CNN과 ViTs를 통합한 새로운 하이브리드 모델을 제안하고 평가한다.

실험 결과

연구 질문

• RQ1 CNNs, RNNs, 및 ViTs가 HAR 성능에 어떻게 진화하고 기여했는가?
• RQ2 하이브리드 CNN–ViT 모델이 개별 아키텍처에 비해 HAR에 어떤 이점을 제공하는가?
• RQ3 트랜스포머 및 CNN–트랜스포머 하이브리드로 인한 HAR의 현재 과제와 향후 방향은 무엇인가?

주요 결과

• 트랜스포머와 ViTs는 비전 작업에서 CNN에 대한 강력한 대안으로 부상했으며 비디오 HAR로 확장되고 있다.
• Self-attention 및 multi-head attention은 HAR 작업에서 장거리 의존성 및 글로벌 컨텍스트를 모델링하는 데 도움을 준다.
• 효율적인 로컬 특징 추출을 하는 CNN과 ViTs의 글로벌 컨텍스트 모델링을 결합하는 새로운 CNN–ViT 하이브리드 모델이 제안되었다.
• 일반적으로 ViTs를 시공간적 비디오 데이터로 확장하려는 노력은 시간적 통합, 시공간 임베딩, 프레임 간 주의 등으로 이루어지고 있다.
• 전이 학습, 대규모 사전 학습, 하이브리드 모델의 잠재적 강건성/해석 가능성 등의 트렌드가 논의된다.