[論文レビュー] Predicting Long-Term Skeletal Motions by a Spatio-Temporal Hierarchical Recurrent Network

Junfeng Hu, Zhencheng Fan+2 more|ArXiv.org|Nov 6, 2019

Human Pose and Action Recognition参考文献 30被引用数 8

ひとこと要約

本稿では、Lie代数に基づく潜在ベクトルと、新しい量子化ボーンウェイト損失を備えた構造的スタックLSTMデコーダーを用いて、3次元骨格運動における細粒度の空間的・時間的依存関係をモデル化する、時空間階層的再帰的ネットワークを提案する。本手法は、長期間の骨格運動予測において、静止状態や非現実的な運動に収束することなく、人間らしい動的なポーズを長期間にわたり維持するという点で、最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

The primary goal of skeletal motion prediction is to generate future motion by observing a sequence of 3D skeletons. A key challenge in motion prediction is the fact that a motion can often be performed in several different ways, with each consisting of its own configuration of poses and their spatio-temporal dependencies, and as a result, the predicted poses often converge to the motionless poses or non-human like motions in long-term prediction. This leads us to define a hierarchical recurrent network model that explicitly characterizes these internal configurations of poses and their local and global spatio-temporal dependencies. The model introduces a latent vector variable from the Lie algebra to represent spatial and temporal relations simultaneously. Furthermore, a structured stack LSTM-based decoder is devised to decode the predicted poses with a new loss function defined to estimate the quantized weight of each body part in a pose. Empirical evaluations on benchmark datasets suggest our approach significantly outperforms the state-of-the-art methods on both short-term and long-term motion prediction.

研究の動機と目的

• モデルが静止状態や非人間的なポーズに収束するのを防ぐ、長期的骨格運動予測の課題に対処すること。
• 人間の運動シーケンスにおける局所的およびグローバルな時空間的依存関係を明示的にモデル化すること。
• 関節および骨の間の細粒度の空間的関係を組み込むことで、予測の安定性と現実性を向上させること。
• 長期間予測における最初のフレームの不連続性と誤差の蓄積を低減すること。
• 解剖学的制約と量子化されたボーンウェイトを符号化する損失関数を設計し、ポーズの忠実度を向上させること。

提案手法

• ポーズ構成とその依存関係をモデル化するため、時間的および空間的エンコーディングブランチを別々に持つ階層的再帰的アーキテクチャを導入する。
• ボディパーツ間の空間的・時間的関係を統合的に表現するため、Lie代数からの潜在ベクトルを用いる。
• 背骨、腕、脚を協調的かつ段階的にモデル化する、構造的スタックLSTMデコーダーを採用する。
• 各ボディパーツの位置と長さに基づいて、量子化された重みを推定する新しい損失関数を提案し、誤差の蓄積を低減する。
• 2ブランチエンコーダーを活用して、時間的状態（g_t）と空間的状態（g_s）を抽出し、階層的特徴学習を可能にする。
• 解剖学的妥当性を保ちながら、平均絶対誤差（MAE）と提案損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、どのようにして長期的な3次元骨格シーケンスにおいて、局所的関節依存関係とグローバルな運動パターンの両方を効果的に捉えることができるか？
• RQ2 どの損失関数設計が、長期間予測における解剖学的制約の維持と誤差伝搬の低減に最適か？
• RQ3 階層的再帰構造は、標準的なRNNやLSTMに比べて、長期間にわたり動的で人間らしい運動を維持する点で優れているか？
• RQ4 繰り返しのない多様な人間の運動（例：手を動かす、食事）に対して、繰り返しのある運動（例：歩行）と比較して、本モデルの性能はどの程度か？
• RQ5 空間的状態表現と時間的状態表現は、それぞれ予測精度にどの程度独立して寄与しているか？

主な発見

• H3.6Mデータセットでは、80msから1000msまでの全長期間予測ホライズンで、MAEが最低となり、ERD、LSTM-3LR、RES-GRU、HMR、ゼロ速度ベースラインを上回った。
• より挑戦的なマウスデータセットでは、8フレーム中6フレームで最高性能を記録し、320msでの次善の手法と比較して12%の改善を達成した。
• アブレーションスタディにより、提案損失関数はH3.6MでL2損失と比較して5.5%、HMR損失と比較して4.5%のMAE低減を確認した。
• 空間的状態表現（g_s）を除去すると、最も顕著な性能低下が発生し、細粒度の関節依存関係を捉える上でその重要性が示された。
• 構造的スタックLSTMデコーダーを標準的な2層LSTMに置き換えると性能が低下し、段階的かつ階層的なポーズ生成の利点が裏付けられた。
• 定性的な結果では、唯一本手法が、手を動かすなどの複雑な運動においても、一貫して動的で人間らしいポーズを生成しており、静止状態や歪んだ出力を回避していた。