[論文レビュー] Progressively Generating Better Initial Guesses Towards Next Stages for High-Quality Human Motion Prediction

Tiezheng Ma, Yongwei Nie+3 more|arXiv (Cornell University)|Mar 30, 2022

Human Pose and Action Recognition被引用数 8

ひとこと要約

本論文は、逐次的に滑らかにした真値シーケンスを中間的目標として用い、将来のポーズの初期推定値を段階的に改善するマルチステージの人体運動予測フレームワークを提案する。空間的・時間的密なグラフ畳み込みネットワーク（S-DGCN/T-DGCN）を組み合わせた新規なエンコーダ・コピーデコーダネットワークを用いることで、Human3.6Mでは予測誤差を6%-7%、CMU-MoCapでは5%-10%、3DPWでは13%-16%低減し、先行研究に比べて最先端の性能を達成した。

ABSTRACT

This paper presents a high-quality human motion prediction method that accurately predicts future human poses given observed ones. Our method is based on the observation that a good initial guess of the future poses is very helpful in improving the forecasting accuracy. This motivates us to propose a novel two-stage prediction framework, including an init-prediction network that just computes the good guess and then a formal-prediction network that predicts the target future poses based on the guess. More importantly, we extend this idea further and design a multi-stage prediction framework where each stage predicts initial guess for the next stage, which brings more performance gain. To fulfill the prediction task at each stage, we propose a network comprising Spatial Dense Graph Convolutional Networks (S-DGCN) and Temporal Dense Graph Convolutional Networks (T-DGCN). Alternatively executing the two networks helps extract spatiotemporal features over the global receptive field of the whole pose sequence. All the above design choices cooperating together make our method outperform previous approaches by large margins: 6%-7% on Human3.6M, 5%-10% on CMU-MoCap, and 13%-16% on 3DPW.

研究の動機と目的

• 将来のポーズのより良い初期推定値を活用することで、高品質な人体運動予測を向上させること。
• 最後に観測されたポーズを初期推定値として使用する手法の限界を克服し、正確な予測を実現すること。
• 各段階が次の段階のためのより良い初期推定値を段階的に予測するマルチステージのフレームワークを設計し、全体の予測精度を向上させること。
• 空間的・時間的特徴を効果的にモデル化するため、S-DGCNとT-DGCNを用いたスパatiotemporal特徴抽出機構を設計すること。
• 累積平均平滑化（AAS）が、グローバル平均やガウスフィルタリングと比較して優れた中間的目標戦略であることを検証すること。

提案手法

• フレームワークは、各段階が将来のポーズシーケンスの滑らかにしたバージョンを中間的目標として予測するマルチステージ設計を採用する。
• 中間的目標は、累積平均平滑化（AAS）により生成され、真値シーケンスを再帰的に平均することで、段階的に滑らかくなる近似を生成する。
• 各段階でエンコーダ・コピーデコーダネットワークが使用され、'コピ一'操作によりエンコーダ出力をデコーダに注入することで、長距離依存性を保持する。
• S-DGCNは、各ポーズを完全結合グラフとしてモデル化することで関節間の空間的関係を処理し、T-DGCNはシーケンス全体における時間的ダイナミクスを捉える。
• S-DGCNとT-DGCNを交互に適用することで、全ポーズシーケンスにわたるグローバルなスパティオトロピカル特徴を抽出する。
• 最終的な予測は、最後の段階で初期推定値をターゲットとなる将来のポーズシーケンスに精練することで生成される。

実験結果

リサーチクエスチョン

• RQ1 複数段階にわたる初期推定値の段階的改善が、人体運動予測の精度向上に寄与するか？
• RQ2 グローバル平均やガウスフィルタリングと比較して、累積平均平滑化（AAS）が中間的目標生成戦略として優れているか？
• RQ3 標準的なGCNと比較して、S-DGCNとT-DGCNの専用アーキテクチャがスパティオトロピカル特徴学習を向上させるか？
• RQ4 段階数が予測性能に与える影響は何か？最適な構成は何か？
• RQ5 エンコーダ・コピーデコーダネットワークにおける'コピ一'操作が性能向上にどのように寄与しているか？

主な発見

• 提案されたマルチステージフレームワークは、先行SOTA手法と比較してHuman3.6Mで6%-7%の誤差低減を達成した。
• CMU-MoCapでは、先行手法と比較して予測誤差を5%-10%低減した。
• より挑戦的な3DPWデータセットでは、予測精度が13%-16%向上した。
• 最適な段階数は4段階であり、それ以上に増やすと性能が頭打ちまたは低下する傾向を示した。
• AASを中間的目標戦略として用いることで、グローバル平均やガウスフィルタリングを上回る性能を発揮した。特にガウスフィルタリングは顕著な性能低下を示した。
• デコーダにおける'コピ一'操作を削除すると、誤差は65.02から65.99に上昇し、長距離依存性の保持にその重要性が示された。