[論文レビュー] Deep Convolutional Neural Networks for Action Recognition Using Depth Map Sequences

Pichao Wang, Wanqing Li+4 more|arXiv (Cornell University)|Jan 20, 2015

Human Pose and Action Recognition参考文献 25被引用数 36

ひとこと要約

本論文は、回転させた3次元点群と階層的深度動画像を活用して、頑健な空間時間特徴を抽出する、深度マップシーケンスを用いた人間の行動認識のための新規なHDMM + 3ConvNetsフレームワークを提案する。本手法は、複数のデータセット、特に大規模な結合データセットにおいて、最小限の性能低下で最先端の性能を達成しており、視点や運動速度の変化に対して強い汎化性能と耐性を示している。

ABSTRACT

Recently, deep learning approach has achieved promising results in various fields of computer vision. In this paper, a new framework called Hierarchical Depth Motion Maps (HDMM) + 3 Channel Deep Convolutional Neural Networks (3ConvNets) is proposed for human action recognition using depth map sequences. Firstly, we rotate the original depth data in 3D pointclouds to mimic the rotation of cameras, so that our algorithms can handle view variant cases. Secondly, in order to effectively extract the body shape and motion information, we generate weighted depth motion maps (DMM) at several temporal scales, referred to as Hierarchical Depth Motion Maps (HDMM). Then, three channels of ConvNets are trained on the HDMMs from three projected orthogonal planes separately. The proposed algorithms are evaluated on MSRAction3D, MSRAction3DExt, UTKinect-Action and MSRDailyActivity3D datasets respectively. We also combine the last three datasets into a larger one (called Combined Dataset) and test the proposed method on it. The results show that our approach can achieve state-of-the-art results on the individual datasets and without dramatical performance degradation on the Combined Dataset.

研究の動機と目的

• 3次元点群を直接回転処理することで、深度ベースの行動認識における視点変動の課題に対処すること。
• 身体の形状と運動ダイナミクスの両方を捉える、重み付けされたマルチスケール深度動画像（HDMM）を生成することで、特徴抽出を向上させること。
• 回転と時間スケーリングを用いた人工的なトレーニングデータの拡大により、小規模で複雑なデータセットにおける汎化性能を向上させること。
• 微調整を施した事前学習済みConvNetsを用いて、個々のデータセットおよび結合データセットで最先端の性能を達成すること。
• 行動の複雑さ、ノイズレベル、視点のばらつきが異なる多様なデータセットにおいて、耐性を評価すること。

提案手法

• 本手法は、3次元深度点群を回転させることで、さまざまなカメラの視点を模倣し、視点不変性を向上させる。
• 各回転ビューに対して、深度フレームを3つの直交平面（X、Y、Z）に投影することで、空間的構造を捉える。
• 複数の時間スケールにわたって、連続フレームおよびサブサンプルフレーム間の絶対差を計算することで、階層的深度動画像（HDMM）を構築する。
• 最近の運動エネルギーを優先するための重み係数を適用し、行動シーケンス内の動的変化に注目する。
• 3つの別々の3チャネルConvNetを、3つの直交投影からのHDMMで訓練し、分類スコアをラテントフェージュニケーションする。
• 小規模なデータセットにおける過学習を軽減し、性能を向上させるために、ImageNetで事前学習されたモデルを深度データで微調整する。

実験結果

リサーチクエスチョン

• RQ1 深度マップに基づくディープラーニングフレームワークは、標準的な行動認識ベンチマークで最先端の性能を達成できるか？
• RQ2 3次元点群の回転と時間スケーリングによるデータ拡張は、モデルの汎化性能向上にどの程度効果的か？
• RQ3 提案されたHDMM表現は、時間スケールの変化に関係なく、形状と運動の両方の手がかりを効果的に捉えることができるか？
• RQ4 行動、視点、背景に大きなばらつきがある結合データセットで学習した場合、本手法はどの程度の性能を示すか？
• RQ5 事前学習後の微調整は、小規模な深度ベースの行動認識データセットでどの程度の性能向上をもたらすか？

主な発見

• MSRAction3Dでは94.58%の精度を達成し、以前の最先端（89.83%）を上回った。
• MSRAction3DExtでは94.05%の精度を達成し、以前の最高結果（91.15%）を上回った。
• UTKinect-Actionでは91.92%の精度を達成し、以前の最先端（93.94%）を上回った。
• MSRDailyActivity3Dでは78.12%の精度を達成し、以前の結果（60.63%）を大幅に改善した。
• 結合データセットでは90.92%の精度を達成し、個々のデータセットの性能と比較して僅かな低下に抑えられており、強い耐性を示した。
• 混同行列から、結合データセットの複雑さとばらつきが増しても、一貫した性能が得られ、精度の低下が最小限であることが示された。