[論文レビュー] RNNs, CNNs and Transformers in Human Action Recognition: A Survey and a Hybrid Model

Khaled Alomar, Halil Ibrahim Aysel+1 more|arXiv (Cornell University)|Jun 2, 2024

Human Pose and Action Recognition被引用数 11

ひとこと要約

人間の行動認識 (HAR) のための CNN、RNN、Vision Transformer の包括的な調査と、CNN–ViT ハイブリッドモデルの提案、傾向と将来の方向性に関する議論。

ABSTRACT

Human Action Recognition (HAR) encompasses the task of monitoring human activities across various domains, including but not limited to medical, educational, entertainment, visual surveillance, video retrieval, and the identification of anomalous activities. Over the past decade, the field of HAR has witnessed substantial progress by leveraging Convolutional Neural Networks (CNNs) to effectively extract and comprehend intricate information, thereby enhancing the overall performance of HAR systems. Recently, the domain of computer vision has witnessed the emergence of Vision Transformers (ViTs) as a potent solution. The efficacy of transformer architecture has been validated beyond the confines of image analysis, extending their applicability to diverse video-related tasks. Notably, within this landscape, the research community has shown keen interest in HAR, acknowledging its manifold utility and widespread adoption across various domains. This article aims to present an encompassing survey that focuses on CNNs and the evolution of Recurrent Neural Networks (RNNs) to ViTs given their importance in the domain of HAR. By conducting a thorough examination of existing literature and exploring emerging trends, this study undertakes a critical analysis and synthesis of the accumulated knowledge in this field. Additionally, it investigates the ongoing efforts to develop hybrid approaches. Following this direction, this article presents a novel hybrid model that seeks to integrate the inherent strengths of CNNs and ViTs.

研究の動機と目的

• HAR における CNN、RNN、Vision Transformers (ViTs) の進化を調査する。
• ViTs とハイブリッド手法を含むアクション認識の最先端文献を分析する。
• HAR のために CNNs と ViTs を組み合わせた新規のハイブリッドモデルを提案し、既存モデルと比較する。
• HAR における新たな動向・課題・今後の研究方向性を議論する。

提案手法

• HAR に関連する基礎的な CNN、RNN、および Transformer/VIT の文献をレビューする。
• バニラ RNN から注意機構を備えた Transformer および自己注意機構への発展を説明する。
• HAR のために Vision Transformer が時空間的な動画データへどのように適応されるかを説明する。
• HAR のために CNN と ViT を統合した新規のハイブリッドモデルを提案および評価する。

実験結果

リサーチクエスチョン

• RQ1 CNNs、RNNs、および ViTs はどのように進化し HAR の性能に寄与してきたか？
• RQ2 個々のアーキテクチャと比較して、ハイブリッド CNN–ViT モデルは HAR にどのような利点を提供するか？
• RQ3 トランスフォーマーおよび CNN–トランスフォーマーハイブリッドを用いた HAR の現在の課題と今後の方向性は何か？

主な発見

• トランスフォーマーと ViTs は視覚タスクにおける CNN の強力な代替手段として台頭しており、動画 HAR への適用が進んでいる。
• 自己注意とマルチヘッド注意は、HAR タスクにおける長距離依存関係とグローバルな文脈のモデリングを可能にする。
• CNN–ViT ハイブリッドモデルの新規提案は、CNN の効率的な局所特徴抽出と ViTs のグローバルな文脈モデリングを組み合わせることを目的としています。
• 本調査は、時系列統合、時空間埋め込み、フレーム間のアテンションを通じて ViTs を時空間的な動画データへ拡張する継続的な取り組みを強調している。
• 本論文は、転移学習、大規模事前学習、およびハイブリッドモデルの潜在的な頑健性/解釈性の利点といった動向を論じている。