[論文レビュー] Skeleton Boxes: Solving skeleton based action detection with a single deep convolutional neural network

Bo Li, Huahui Chen+3 more|arXiv (Cornell University)|Apr 19, 2017

Human Pose and Action Recognition参考文献 10被引用数 10

ひとこと要約

本稿では、3次元スケルトンシーケンスを並進およびスケール不変のカラー画像にマッピングし、その後で修正されたSSDフレームワークを適用することで、正確で効率的な検出を実現する、エンドツーエンドの深層畳み込みニューラルネットワーク「Skeleton Boxes」を提案する。PKU-MMDデータセットにおいて、mAPが0.945（クロスビュー）および0.613（クロスサブジェクト）を達成し、先行手法を大きく上回る最先端の性能を発揮した。

ABSTRACT

Action recognition from well-segmented 3D skeleton video has been intensively studied. However, due to the difficulty in representing the 3D skeleton video and the lack of training data, action detection from streaming 3D skeleton video still lags far behind its recognition counterpart and image based object detection. In this paper, we propose a novel approach for this problem, which leverages both effective skeleton video encoding and deep regression based object detection from images. Our framework consists of two parts: skeleton-based video image mapping, which encodes a skeleton video to a color image in a temporal preserving way, and an end-to-end trainable fast skeleton action detector (Skeleton Boxes) based on image detection. Experimental results on the latest and largest PKU-MMD benchmark dataset demonstrate that our method outperforms the state-of-the-art methods with a large margin. We believe our idea would inspire and benefit future research in this important area.

研究の動機と目的

• ストリーミング3次元スケルトンビデオにおけるスケルトンベースの行動検出のための効果的でエンドツーエンドのディーブラーニングフレームワークの不足に対処する。
• 3次元スケルトンデータの表現と、検出タスクにおけるトレーニングデータの不足という課題を克服する。
• 画像ベースのオブジェクト検出とスケルトンベースの行動検出のギャップを埋めるために、SSDをスケルトンマップ画像に適応する。
• スケルトンの時間的および空間的運動特性を保持する、並進およびスケール不変の画像マッピング手法を開発する。
• スライディングウィンドウやリージョンプロポーザルを用いずに、高い検出精度と計算効率を達成する。

提案手法

• ジョイントのx, y, z座標をR, G, Bチャンネルに割り当てることで、3次元スケルトンシーケンスをカラー画像にマッピングし、時間的順序を保持する。
• 並進およびスケール不変の正規化を適用：$ p^{jk} = \text{floor}\left(255 \cdot \frac{c^{jk} - c^{jk}_{\text{min}}}{\max_k(c^{jk}_{\text{max}} - c^{jk}_{\text{min}})} \right) $、ここで正規化は全データセット全体ではなく、各シーケンスごとに行われる。
• アスペクト比が $ \frac{1}{7}, \frac{1}{5}, \frac{1}{3}, \frac{1}{2}, 1, 2, 3, 5, 7 $ のデフォルトボックスを用いて、SSDオブジェクト検出フレームワークをスケルトンマップ画像内の行動インスタンス検出に適応する。
• 異なるスケールとアスペクト比のデフォルトボックスを備えたマルチスケール特徴マップを用いることで、期間や空間的範囲が異なる行動を検出する。
• 組み合わせ損失を用いてネットワークを訓練：$ L(x,c,l,g) = \frac{1}{N}(L_{\text{conf}}(x,c) + \alpha L_{\text{loc}}(x,l,g)) $、局所化にはスムーズL1、分類にはソフトマックスを適用する。
• トレーニング中にハードネガティブマイニング（ネガティブ:ポジティブ比3:1）とランダムパッチサンプリングを用いたデータオーグメンテーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 リージョンプロポーザルやスライディングウィンドウを用いずに、エンドツーエンドのスケルトンベースの行動検出に効果的に適用可能な1つのディープCNNを訓練可能か？
• RQ2 3次元スケルトンシーケンスを、時間的および空間的運動パターンを保持する画像に類似した表現に効果的に符号化する方法は何か？
• RQ3 特に行動クリップのアスペクト比が高い状況において、SSDフレームワークをスケルトンマップ画像の行動検出に適応することはどの程度可能か？
• RQ4 並進およびスケール不変の画像マッピング戦略は、スケルトンベースの行動検出における汎化性能とロバストネスを向上させるか？
• RQ5 統合的でエンドツーエンドのフレームワークは、大規模なスケルトン検出ベンチマークにおいて、従来の2段階型またはRNNベースの手法を上回る性能を発揮できるか？

主な発見

• 提案手法のSkeleton Boxesは、PKU-MMDデータセットのクロスビュー評価でmAP 0.945、クロスサブジェクト評価でmAP 0.613を達成し、先行する最先端手法を大きく上回った。
• クロスビュー分割では、前回の最良手法（JCRRNN: 0.699）と比較してmAPが25ポイント以上も向上（0.945）し、顕著な優位性を示した。
• クロスサブジェクト評価では、mAP 0.613を達成し、次に優れた手法（JCRRNN: 0.452）を16.1ポイントも上回った。
• 並進およびスケール不変の画像マッピング戦略は、グローバルな3次元座標のシフトやスケール変動の影響を効果的に排除し、モデルのロバストネスを向上させた。
• 非常に高いアスペクト比を有するカスタマイズされたデフォルトボックスを用いたSSDのスケルトンマップ画像への適応により、長時間継続する行動クリップの正確な検出が可能になった。
• ハードネガティブマイニングとデータオーグメンテーションを併用したエンドツーエンド学習により、限られたトレーニングデータでも安定した収束と優れた汎化性能が得られた。