[論文レビュー] Action Recognition Based on Joint Trajectory Maps with Convolutional Neural Networks

Pichao Wang, Wanqing Li+2 more|arXiv (Cornell University)|Dec 30, 2016

Human Pose and Action Recognition被引用数 8

ひとこと要約

本稿では、3次元スケルトンシーケンスを3つの直交平面における関節軌道を表す2次元カラー画像に変換するJoint Trajectory Maps (JTM) を提案する。この手法により、事前学習済みのConvNetの微調整が可能となり、人間の行動認識に応用できる。本手法は、補完的な空間的・時間的パターンとスコア統合を活用することで、NTU RGB+Dを含む4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Convolutional Neural Networks (ConvNets) have recently shown promising performance in many computer vision tasks, especially image-based recognition. How to effectively apply ConvNets to sequence-based data is still an open problem. This paper proposes an effective yet simple method to represent spatio-temporal information carried in $3D$ skeleton sequences into three $2D$ images by encoding the joint trajectories and their dynamics into color distribution in the images, referred to as Joint Trajectory Maps (JTM), and adopts ConvNets to learn the discriminative features for human action recognition. Such an image-based representation enables us to fine-tune existing ConvNets models for the classification of skeleton sequences without training the networks afresh. The three JTMs are generated in three orthogonal planes and provide complimentary information to each other. The final recognition is further improved through multiply score fusion of the three JTMs. The proposed method was evaluated on four public benchmark datasets, the large NTU RGB+D Dataset, MSRC-12 Kinect Gesture Dataset (MSRC-12), G3D Dataset and UTD Multimodal Human Action Dataset (UTD-MHAD) and achieved the state-of-the-art results.

研究の動機と目的

• 深層学習に基づく行動認識のための、3次元スケルトンシーケンスにおける空間的・時間的情報を効果的に表現する課題に対処すること。
• 再訓練を一切行わずに、画像データ用に事前学習されたConvNetをスケルトンシーケンス分類に活用できることを可能にすること。
• 3つの直交平面における補完的表現と最終スコア統合により、認識精度を向上させること。
• 回転させたスケルトンビューを用いたデータ拡張により、視点変化に対する耐性を高めること。
• 従来のシーケンスモデリングや手作業特徴量と比較して、画像ベースの符号化の有効性を示すこと。

提案手法

• Joint Trajectory Maps (JTM) は、3次元関節軌道を3つの直交平面（例：XY、XZ、YZ）に投影することで生成され、位置と運動ダイナミクスが色の強度に符号化される。
• 各JTMは、各関節の時間的軌道を色で符号化し、空間的・時間的構造を保持するテクスチャに似たパターンを生成する。
• 本手法はスケルトンデータに回転拡張を適用し、複数のビューを生成することで、クロスビューのデータを模倣し、一般化性能を向上させる。
• 事前学習済みImageNet ConvNetを、3つのJTM画像上で微調整し、行動分類のための判別的特徴を抽出する。
• 最終的な予測は、3つのJTMビュー間でスコアを平均化する後段統合により得られ、耐性と精度が向上する。
• 本手法は、画像ベースの表現を活用することで、深層ネットワークを再訓練せずに学習を回避する。

実験結果

リサーチクエスチョン

• RQ1 3次元スケルトンシーケンスを、ConvNet処理に適した空間的・時間的ダイナミクスを保持する2次元画像に変換できるか？
• RQ2 3つの直交JTMビューを用いることで、単一ビュー表現よりも補完的な情報を得られ、行動認識性能が向上するか？
• RQ3 自然画像で学習された事前学習ConvNetを、JTM入力を用いてスケルトンシーケンス分類に効果的に微調整できるか？
• RQ4 スケルトンの回転によるデータ拡張は、認識性能と視点一般化能力にどのように影響するか？
• RQ5 複数のJTMビューからのスコア統合は、多様なデータセット全体で一貫した性能向上をもたらすか？

主な発見

• 提案手法は、類似した入力モodalを用いた先行研究を上回り、大規模なNTU RGB+Dデータセットで最先端の認識精度を達成した。
• G3Dデータセットでは、9つのビュー（θ, ψ ∈ {-22.5°, 0°, 22.5°}）を統合した場合に95.15%の認識精度を達成したが、25ビューを用いた場合の向上は顕著ではなかった。
• 自然座標系（θ=0°, ψ=0°）がG3Dで最高の単一ビュー精度（95.12%）を達成したが、各ビュー間の差は小さかった。
• 自然座標系からの3つの直交JTMsを統合することで、個々のビューよりも認識精度が向上し、補完的情報の獲得が示された。
• 回転拡張は、特にクロスビュー行動認識において一般化性能を効果的に向上させ、明示的な視点モデル化を不要とした。
• 本手法は、NTU RGB+D、MSRC-12、G3D、UTD-MHADの4つの多様なデータセットで優れた性能を発揮し、耐性と一般化能力の有効性を確認した。