[論文レビュー] 3DFCNN: Real-Time Action Recognition using 3D Deep Neural Networks with Raw Depth Information

A. Sánchez-Caballero, Sergio de López-Diz+5 more|arXiv (Cornell University)|Jun 13, 2020

Human Pose and Action Recognition被引用数 8

ひとこと要約

本論文では、RGB-Dカメラからの生の深度シーケンスを用いてエンドツーエンドで人間の行動認識を実行するリアルタイム3次元畳み込みニューラルネットワーク（3DFCNN）を提案する。従来の深層学習手法と比較して顕著に低い計算コストで最先端の精度を達成するとともに、深度データのみを用いることでユーザーのプライバシーを保護する。

ABSTRACT

Human actions recognition is a fundamental task in artificial vision, that has earned a great importance in recent years due to its multiple applications in different areas. %, such as the study of human behavior, security or video surveillance. In this context, this paper describes an approach for real-time human action recognition from raw depth image-sequences, provided by an RGB-D camera. The proposal is based on a 3D fully convolutional neural network, named 3DFCNN, which automatically encodes spatio-temporal patterns from depth sequences without %any costly pre-processing. Furthermore, the described 3D-CNN allows %automatic features extraction and actions classification from the spatial and temporal encoded information of depth sequences. The use of depth data ensures that action recognition is carried out protecting people's privacy% allows recognizing the actions carried out by people, protecting their privacy%\sout{of them} , since their identities can not be recognized from these data. %\st{ from depth images.} 3DFCNN has been evaluated and its results compared to those from other state-of-the-art methods within three widely used %large-scale NTU RGB+D datasets, with different characteristics (resolution, sensor type, number of views, camera location, etc.). The obtained results allows validating the proposal, concluding that it outperforms several state-of-the-art approaches based on classical computer vision techniques. Furthermore, it achieves action recognition accuracy comparable to deep learning based state-of-the-art methods with a lower computational cost, which allows its use in real-time applications.

研究の動機と目的

• RGBではなく深度データを活用することで、プライバシーに配慮した応用におけるリアルタイム人間行動認識の課題に取り組む。
• 手作業による特徴工学を必要とせず、生の深度シーケンスから空間時間的特徴を自動で抽出できる深層学習モデルを開発する。
• リアルタイムデプロイメントに適した低計算コストを維持しつつ、最先端の深層学習手法と同等の高い認識精度を達成する。
• 特にマルチビュー環境下でも、異なるカメラアングル、解像度、センサータイプを含む多様なデータセットに対して堅牢性を確保する。
• 深度データのみを入力とすることで、標準ベンチマーク上で性能を落とさずにプライバシー保護可能な行動認識が可能であることを実証する。

提案手法

• 生の深度動画クリップをエンドツーエンドで処理する3次元畳み込みニューラルネットワーク（3DFCNN）を設計し、手作業による特徴エンジニアリングの必要性を排除する。
• 3次元畳み込み層とプーリング層を用いて、深度シーケンスから空間的および時間的パターンを同時に学習し、動的な人間の動きを捉える。
• 一般化性能の向上を図るため、学習率範囲テスト、サイクル学習率スケジューリング、および独自のデータ生成戦略を適用する。
• 3次元畳み込みを用いながらも、効率的なネットワークアーキテクチャ最適化を実施し、標準ハードウェア上でもリアルタイム推論を実現する。
• NTU RGB+Dデータセットでモデルを学習および評価し、マルチビューの堅牢性を検証するため、NWUCLAおよびUWA3DIIデータセットでも追加の検証を実施する。
• 学習された空間時間的特徴から直接行動を分類するため、最終段階にソフトマックス層を適用する。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みニューラルネットワークは、前処理を一切行わず、生の深度シーケンスのみを用いて高い行動認識精度を達成できるか？
• RQ2 標準データセット上での古典的手法および他の深層学習アプローチと比較して、提案された3DFCNNモデルの精度と計算効率はどの程度か？
• RQ3 マルチビュー行動認識設定において、異なるカメラアングルやセンサーカンfigurationにわたる一般化性能はどの程度か？
• RQ4 深度データのみの入力は、特にRGBベースの手法と比較して、ユーザーのプライバシー保護を確保しつつも高い認識性能を維持できるか？
• RQ5 どのような学習戦略とアーキテクチャ選択が、大規模な深度行動データセット上で競争力のある精度を実現するリアルタイム推論を可能にするか？

主な発見

• NTU RGB+Dデータセットにおいて、3DFCNNは最も挑戦的なテストスプリット（V1+V2）で88.3%の認識精度を達成し、古典的手法を上回り、最先端の深層学習モデルと同等の性能を示した。
• マルチビュー設定のUWA3DIIデータセットでは、平均精度66.6%を達成し、CCD（11.2%）やHON4D（28.9%）といった古典的手法を大きく上回り、MVDI（68.1%）に近い性能を示したが、はるかに低い計算コストで実現した。
• NWUCLAマルチビューデータセットでは83.6%の精度を達成し、HOPC（80.0%）やMVDI（84.2%）を上回り、異なるカメラアングルにわたる強力な堅牢性を示した。
• NTU RGB+Dデータセットにおいて最先端の精度を達成した一方で、軽量なアーキテクチャを維持しており、リアルタイム推論が可能である。これは、より重い深層学習モデルと比較して顕著な利点である。
• 高い精度を達成したにもかかわらず、『書いている』と『読んでいる』のような微細な行動の区別には依然として困難を示しており、今後の研究における残された課題である。
• サイクル学習率と学習率範囲テストの使用により、トレーニングの安定性と最終的な性能が著しく向上し、モデルの一般化性能向上に寄与した。