[論文レビュー] Tracking Human-like Natural Motion Using Deep Recurrent Neural Networks

Youngbin Park, Sungphill Moon+1 more|arXiv (Cornell University)|Apr 15, 2016

Human Pose and Action Recognition参考文献 21被引用数 13

ひとこと要約

本論文では、単一のKinectによるスケルトン追跡における不自然でジッターや不連続な動きを補正するため、深層再帰ニューラルネットワーク（pDRNNおよびvDRNN）を提案する。本手法は、関節位置と速度を精緻化することで、Kinect v2に比べて位置誤差とジャerk誤差を顕著に低減し、最良の統合手法（sKNN-pDRNN）では平均位置誤差が0.026にまで低下し、生のKinectおよび他の統合ベースラインを上回った。

ABSTRACT

Kinect skeleton tracker is able to achieve considerable human body tracking performance in convenient and a low-cost manner. However, The tracker often captures unnatural human poses such as discontinuous and vibrated motions when self-occlusions occur. A majority of approaches tackle this problem by using multiple Kinect sensors in a workspace. Combination of the measurements from different sensors is then conducted in Kalman filter framework or optimization problem is formulated for sensor fusion. However, these methods usually require heuristics to measure reliability of measurements observed from each Kinect sensor. In this paper, we developed a method to improve Kinect skeleton using single Kinect sensor, in which supervised learning technique was employed to correct unnatural tracking motions. Specifically, deep recurrent neural networks were used for improving joint positions and velocities of Kinect skeleton, and three methods were proposed to integrate the refined positions and velocities for further enhancement. Moreover, we suggested a novel measure to evaluate naturalness of captured motions. We evaluated the proposed approach by comparison with the ground truth obtained using a commercial optical maker-based motion capture system.

研究の動機と目的

• 自己遮蔽状態における単一Kinectによるスケルトン追跡における不自然でジッターや不連続な動きの問題に対処すること。
• 複数センサーを必要とせず、Kinect v2のスケルトンデータの時間的連続性と自然さを向上させること。
• 深層再帰ニューラルネットワークを用いて、関節位置と速度を精緻化する教師あり学習ベースの手法を開発すること。
• 動きの自然さを客観的に評価できる新たな評価指標を提案すること。
• 複数の統合戦略を用いて、精緻化された位置と速度出力を統合し、性能を向上させること。

提案手法

• 生のKinect v2スケルトンデータから補正された関節位置を回帰するための深層再帰ニューラルネットワーク（pDRNN）を訓練する。
• 時間的滑らかさの向上を目的として、別個の深層再帰ネットワーク（vDRNN）を関節速度の精緻化に訓練する。
• 最近傍探索、カルマンフィルタリング、またはハイブリッド統合を用いてpDRNNとvDRNNの出力を統合する3つの統合手法（sKNN、kF、sKNNkF）を提案する。
• 自然な動きのパターンを学習するために、真値モーショングラフデータのデータセットを用いた教師あり学習を活用する。
• 動きの滑らかさと不連続性を定量化するため、ジャerk誤差に基づく新たな自然さ評価指標を導入する。
• 位置誤差と速度誤差を最小化するとともに時間的整合性を保持するように、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層再帰ニューラルネットワークは、単一Kinectによるスケルトン追跡における不自然でジッターや不連続な動きを効果的に補正できるか？
• RQ2 pDRNNおよびvDRNNが得た精緻化された関節位置と速度は、個別および統合的にどのように動きの自然さを向上させるか？
• RQ3 sKNN、kF、sKNNkFのうち、どの統合戦略が位置誤差とジャerk誤差を最小化するのに最も効果的か？
• RQ4 提案手法は、生のKinect v2およびベースライン統合手法に比べて、位置誤差とジャerk誤差をどの程度低減するか？
• RQ5 ジャerkに基づく新規自然さ指標は、動きの滑らかさの向上を信頼性高く定量化できるか？

主な発見

• 特にsKNN-pDRNNが、0.026という最低の平均位置誤差（APE）を達成し、Kinect v2のベースライン（0.058）を顕著に下回った。
• pDRNN部は、中程度から大きなジャerk誤差を効果的に低減したが、微小な振動にはほとんど影響を及ぼさなかった。これはジャerk誤差ヒストグラムから明らかになった。
• kF-pDRNNおよびsKNN-pDRNNは、pDRNN単体よりもAPEが高かったため、後処理統合が適切に設計されない場合には性能が劣化する可能性があることが示された。
• sKNNkF手法は、ジャerk誤差ヒストグラム全体で最良の性能を示し、他の変種と比較して全誤差バケットで優位性を示した。
• 定性的な結果では、sKNN-pDRNN手法が、回転や脚を交差させるような複雑な動きにおいて、Kinect v2に比べて真値に近いスケルトンを生成した。
• 提案された自然さ評価指標は、pDRNNが深刻な不連続性を低減したことを的確に定量化できたが、微小なジッターへの効果は限定的であった。