[論文レビュー] Action Recognition for Depth Video using Multi-view Dynamic Images

Yang Xiao, Jun Chen+4 more|arXiv (Cornell University)|Jun 29, 2018

Human Pose and Action Recognition参考文献 56被引用数 6

ひとこと要約

本稿では、複数の仮想視点からの投影を経てコンactなダイナミック画像を生成することで、3次元運動表現を強化する、深度動画向けの新しい行動認識手法を提案する。共有畳み込み層を有するCNNと視点別分類器、および行動提案モジュールを活用することで、勾配消失を軽減し、ロバスト性を向上させ、3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Dynamic imaging is a recently proposed action description paradigm for simultaneously capturing motion and temporal evolution information, particularly in the context of deep convolutional neural networks (CNNs). Compared with optical flow for motion characterization, dynamic imaging exhibits superior efficiency and compactness. Inspired by the success of dynamic imaging in RGB video, this study extends it to the depth domain. To better exploit three-dimensional (3D) characteristics, multi-view dynamic images are proposed. In particular, the raw depth video is densely projected with respect to different virtual imaging viewpoints by rotating the virtual camera within the 3D space. Subsequently, dynamic images are extracted from the obtained multi-view depth videos and multi-view dynamic images are thus constructed from these images. Accordingly, more view-tolerant visual cues can be involved. A novel CNN model is then proposed to perform feature learning on multi-view dynamic images. Particularly, the dynamic images from different views share the same convolutional layers but correspond to different fully connected layers. This is aimed at enhancing the tuning effectiveness on shallow convolutional layers by alleviating the gradient vanishing problem. Moreover, as the spatial occurrence variation of the actions may impair the CNN, an action proposal approach is also put forth. In experiments, the proposed approach can achieve state-of-the-art performance on three challenging datasets.

研究の動機と目的

• 高いクラス内変動および視点変動の下で、深度ベースの行動認識の性能が制限されているという課題に対処する。
• 光学フローおよびシーンフローの限界を克服し、より効率的でコンactな運動表現を提案する。
• 深度データの3次元構造的性質を活用して、マルチビュー投影によりより豊かな運動特徴を抽出する。
• 視点別に完全結合層構造を設計することで、小規模な深度行動データセットにおける深層CNNの訓練安定性と特徴学習を向上させる。
• 空間的変動およびシーンへの感受性を低減するため、空間的・時間的行動提案機構を用いてロバスト性を向上させる。

提案手法

• 3次元空間におけるカメラの回転により、複数の仮想カメラ視点から深度動画を密に投影し、マルチビュー深度データを取得する。
• 時間的ランクプーリングを用いて各視点の深度動画からダイナミック画像を抽出し、動画クリップを運動と時間的変化を保持する1枚の静的画像に変換する。
• 全仮想視点からのダイナミック画像を統合することでマルチビュー・ダイナミック画像を構築し、3次元運動表現を豊かにする。
• 全視点からの特徴を処理する共有畳み込み層と、各視点グループごとに独自の完全結合層を有する新規なCNNモデルを設計し、勾配消失を低減するとともに浅い層のチューニングを改善する。
• 行動セグメントを局所化し、入力の空間的変動への感受性を低減するため、空間的・時間的行動提案手法を導入する。
• エンドツーエンドのCNN訓練における過学習を回避するため、ソフトマックスの代わりにSVM分類器を用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー・ダイナミック画像は、単一視点のダイナミック画像を超えて、深度動画における3次元運動特性を効果的に捉えられるか？
• RQ2 視点別に完全結合層を有する本手法のCNNアーキテクチャは、小規模な深度行動データセット環境下で、訓練安定性と性能をどのように向上させるか？
• RQ3 空間的・時間的行動提案機構は、空間的変動に対するロバスト性をどの程度向上させ、認識精度を改善するか？
• RQ4 限られたラベル付き深度行動データの文脈において、なぜSVMがソフトマックスよりも優れているのか、全体的な性能にどのような影響を与えるか？
• RQ5 高い計算コストがあるにもかかわらず、本手法は標準的な深度行動認識ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、NTU RGB-D、Northwestern-UCLA、UWA3D IIの3つの挑戦的な深度行動認識データセットで、最先端の性能を達成した。
• NTU RGB-Dデータセットでは、トップ-1正答率73.7%、トップ-5正答率87.3%を達成し、既存手法を上回った。
• SVM分類器は、すべてのデータセットで少なくとも11.1%の優位性を示し、ソフトマックス分類器を大きく上回った。これは、低データ環境下での有効性を示している。
• マルチビュー・ダイナミック画像表現は、単一視点のダイナミック画像よりも豊かな3次元運動特徴を捉えており、識別力が向上した。
• 提案されたCNNアーキテクチャは、各視点グループごとに完全結合層を分離することで、浅い層における勾配消失問題を効果的に緩和した。
• 平均して1動画あたりのオンライン推論時間は約51.02秒であり、そのうちマルチビュー投影が最も計算コストが高かった（34.5秒）。