[論文レビュー] Human Motion Prediction via Learning Local Structure Representations and Temporal Dependencies

Xiao Guo, Jongmoo Choi|arXiv (Cornell University)|Feb 20, 2019

Human Pose and Action Recognition参考文献 28被引用数 13

ひとこと要約

本稿では、体部品（例：腕、胴体）からの局所的構造表現を学習し、時間的依存関係をモデル化することで、人間の運動予測を向上させる、SkelNetおよびSkel-TNetという新しい深層学習アーキテクチャを提案する。SkelNetは、局所的な空間特徴を抽出するための部品固有のブランチを用いる。一方、Skel-TNetは、SkelNetとGRUベースのRNN、およびマージングネットワークを組み合わせ、空間的・時間的ダイナミクスを同時にモデル化し、Human3.6MおよびCMU Mocapデータセットで最先端の性能を達成する。

ABSTRACT

Human motion prediction from motion capture data is a classical problem in the computer vision, and conventional methods take the holistic human body as input. These methods ignore the fact that, in various human activities, different body components (limbs and the torso) have distinctive characteristics in terms of the moving pattern. In this paper, we argue local representations on different body components should be learned separately and, based on such idea, propose a network, Skeleton Network (SkelNet), for long-term human motion prediction. Specifically, at each time-step, local structure representations of input (human body) are obtained via SkelNet's branches of component-specific layers, then the shared layer uses local spatial representations to predict the future human pose. Our SkelNet is the first to use local structure representations for predicting the human motion. Then, for short-term human motion prediction, we propose the second network, named as Skeleton Temporal Network (Skel-TNet). Skel-TNet consists of three components: SkelNet and a Recurrent Neural Network, they have advantages in learning spatial and temporal dependencies for predicting human motion, respectively; a feed-forward network that outputs the final estimation. Our methods achieve promising results on the Human3.6M dataset and the CMU motion capture dataset.

研究の動機と目的

• 全身のポーズを統合的にモデル化する手法の限界を是正するため、異なる体部品（腕、胴体など）にはそれぞれ異なる運動パターンが存在することを認識すること。
• 全身のポーズを一つの入力として扱うのではなく、部品固有の局所的空間表現を学習することで、長期的な人間の運動予測を改善すること。
• 多段階フレームワークを用いて、SkelNetからの空間表現とGRUベースのRNNによる時間的モデリングを統合することで、短期予測の精度を向上させること。
• 局所的構造の学習と時間的モデリングを分離することで、運動予測タスクにおける一般化性能およびロバスト性が向上することを示すこと。

提案手法

• SkelNetは、人間のポーズを重複のない5つの体部品（例：左腕、右腕、胴体、左脚、右脚）に分割し、各部品を専用の部品固有のブランチで処理することで、局所的な空間表現を学習する。
• 各部品固有のブランチは、共有層、残差接続、ドロップアウト、Leaky ReLU活性化関数を用い、関節角度から頑健な局所的特徴を抽出する。
• 共有層がすべての体部品からの局所的表現を集約し、次の時刻のポーズを予測する。これにより、全身ポーズの統一された出力が得られる。
• Skel-TNetは、SkelNetによる空間表現学習と、GRUベースのRNN（C-RNN）による時間的依存関係のモデリングを統合する。
• マージングネットワーク（フィードフォワードネットワークとして実装）は、SkelNetとC-RNNの出力を統合し、最終的な予測運動シーケンスを生成する。
• ネットワークは、再構成損失とサンプリングベースの損失を組み合わせて、エンドツーエンドで訓練され、学習の安定化と一般化性能の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 全身ポーズモデリングに代えて、個々の体部品からの局所的構造表現を学習することで、長期的な人間の運動予測性能が向上するか？
• RQ2 部品固有の空間表現と再帰的時間的モデリングを統合することで、短期的な運動予測の精度が向上するか？
• RQ3 特に部品固有のブランチを備えたSkelNetのアーキテクチャ設計が、ノイズ下での予測性能とロバスト性に与える影響は何か？
• RQ4 SkelNetとGRUベースのRNNを統合したSkel-TNetにおいて、多様な人間の行動にわたる一般化性能がどの程度向上するか？
• RQ5 体部品のグループ化や部品の削除といったアーキテクチャ的選択が、運動予測フレームワークの性能に与える影響は何か？

主な発見

• SkelNetは、Human3.6Mデータセットで0.49 mof、CMU Mocapデータセットで0.60 mofの平均誤差を達成し、長期予測において最先端の性能を発揮した。
• アブレーションスタディの結果、部品固有のブランチが性能向上に顕著に寄与しており、非ブランチ型の変種と比較して、すべての体部品および全身ポーズの誤差が低減された。
• Skel-TNetは、短期予測においてベースラインを上回り、共同学習でHuman3.6Mで0.73 mof、CMU Mocapで0.55 mofの誤差を達成した。
• マージングネットワーク（w/o M）や時間的コンponent（w/o T）を削除すると性能が低下し、Skel-TNetにおける各コンponentの必要性が確認された。
• SkelNetはガウスノイズ（分散最大0.5）下でも一貫した性能を維持し、ロバスト性を示したが、CMU MocapではCSSよりわずかにロバスト性が高かった。
• 5つの明確なブランチを持つアーキテクチャ（SkelNet）は、左腕＋右腕や左脚＋右脚といったグループ化（Skel_LR、Skel_UD）よりも優れた性能を示し、より細分化された部品分離が表現学習を向上させることを示した。