[論文レビュー] PISEP^2: Pseudo Image Sequence Evolution based 3D Pose Prediction

Xiaoli Liu, Jianqin Yin+2 more|arXiv (Cornell University)|Sep 4, 2019

Human Pose and Action Recognition参考文献 63被引用数 5

ひとこと要約

本論文では、3次元関節座標列を擬似画像列に変換することで、空間的および時間的相関を別々にモデル化する新しい3次元ポーズ予測フレームワーク、PISEP²を提案する。非再帰的かつ分離型のデコーダアーキテクチャを採用することで、G3DおよびFNTUデータセットにおいて、誤差蓄積を低減し、計算効率を向上させながら最先端の性能を達成した。

ABSTRACT

Pose prediction is to predict future poses given a window of previous poses. In this paper, we propose a new problem that predicts poses using 3D joint coordinate sequences. Different from the traditional pose prediction based on Mocap frames, this problem is convenient to use in real applications due to its simple sensors to capture data. We also present a new framework, PISEP^2 (Pseudo Image Sequence Evolution based 3D Pose Prediction), to address this new problem. Specifically, a skeletal representation is proposed by transforming the joint coordinate sequence into an image sequence, which can model the different correlations of different joints. With this image based skeletal representation, we model the pose prediction as the evolution of image sequence. Moreover, a novel inference network is proposed to predict all future poses in one step by decoupling the decoders in a non-recursive manner. Compared with the recursive sequence to sequence model, we can improve the computational efficiency and avoid error accumulation significantly. Extensive experiments are carried out on two benchmark datasets (e.g. G3D and FNTU). The proposed method achieves the state-of-the-art performance on both datasets, which demonstrates the effectiveness of our proposed method.

研究の動機と目的

• 高価なモーショングラフデータではなく、低コストで容易に入手可能な3次元関節座標列を用いた3次元ポーズ予測の課題に対処すること。
• 骨格表現における空間的および時間的情報を分離することで、人間の運動の複雑な空間時間的ダイナミクスをモデル化すること。
• 長期間予測において誤差蓄積や高コストな計算が生じる再帰的シーケンス・トゥ・シーケンスモデルの限界を克服すること。
• すべての将来フレームを一度の順伝播で同時に予測する非再帰的・1ステップ推論フレームワークを構築すること。
• 未学習のシーケンスにおいて一般化性能と視覚的な妥当性を向上させること。

提案手法

• 3次元関節座標列を空間的および時間的次元が分離された擬似画像列として表現することで、骨格データを空間的・時間的構造でモデル化すること。
• 体部（例：四肢や胴体）をグループ化する骨格表現を設計し、部品内相関および部品間分離をモデル化すること。
• 空間的構造と時間的進化を独立してモデル化するために、分離された空間ブロックおよび時間ブロックを持つ二重ブランチCNNアーキテクチャを採用すること。
• すべての将来フレームを1回の順伝播で予測する非再帰的かつ分離型のデコーダ構造を導入し、誤差伝搬を回避すること。
• 中間層（m/2）でマルチスケール時間的モデリング戦略を採用し、シーケンス全体におけるグローバルな運動傾向を捉えること。
• 未学習データ上でモデルをファインチューニングすることで、一般化性能とロバスト性を向上させること。

実験結果

リサーチクエスチョン

• RQ1 擬似画像列表現は、3次元人体ポーズ列における空間的および時間的相関を効果的にモデル化できるか？
• RQ2 空間的および時間的モデリングを分離することで、統合的モデリングと比較してポーズ予測精度が向上するか？
• RQ3 非再帰的かつ1ステップ予測フレームワークは、再帰的シーケンス・トゥ・シーケンスモデルと比較して、精度および効率性において優れているか？
• RQ4 提案手法は未学習の運動シーケンスにどの程度一般化できるか？
• RQ5 空間的・時間的分離が、長期間予測における誤差蓄積にどのような影響を及ぼすか？

主な発見

• PISEP²は、G3DおよびFNTUベンチマークデータセットにおいて、PredCNN や S-TE と比較して最先端の性能を達成した。
• 非再帰的かつ1ステップ予測メカニズムのおかげで、誤差蓄積が顕著に低減されており、可視化結果から長期的な運動方向が一貫していることが確認された。
• 可視化結果から、PISEP²は特に長期間予測において、PredCNN や S-TE よりもより現実的かつ正確なポーズ列を生成していることが示された。
• ファインチューニング後、PISEP²は未学習データにおいて優れた一般化性能を示し、予測ポーズが運動方向および構造的特徴で真値に近く一致した。
• 中間層（m/2）での時間的モデリングにより、グローバルな時間的進化を効果的に捉えており、長距離依存性の学習が強化された。
• 空間的・時間的モデリングの分離は、空間的および時間的特徴を同等に扱う手法（例：S-TE）と比較して、より優れた性能を発揮した。