[論文レビュー] MSR-GCN: Multi-Scale Residual Graph Convolution Networks for Human Motion Prediction

Lingwei Dang, Yongwei Nie+3 more|arXiv (Cornell University)|Aug 16, 2021

Human Pose and Action Recognition参考文献 48被引用数 14

ひとこと要約

本論文では、階層的なポーズ抽象化とスケール間での双方向GCN特徴抽出を活用した、3次元人体運動予測のためのマルチスケールリーマンスグラフ畳み込みネットワーク（MSR-GCN）を提案する。中間監視とリーマンス学習を組み合わせることで、Human3.6MおよびCMU Mocapデータセットにおいて最先端の性能を達成し、長期的な未来のポーズ予測において従来手法を上回る。

ABSTRACT

Human motion prediction is a challenging task due to the stochasticity and aperiodicity of future poses. Recently, graph convolutional network has been proven to be very effective to learn dynamic relations among pose joints, which is helpful for pose prediction. On the other hand, one can abstract a human pose recursively to obtain a set of poses at multiple scales. With the increase of the abstraction level, the motion of the pose becomes more stable, which benefits pose prediction too. In this paper, we propose a novel Multi-Scale Residual Graph Convolution Network (MSR-GCN) for human pose prediction task in the manner of end-to-end. The GCNs are used to extract features from fine to coarse scale and then from coarse to fine scale. The extracted features at each scale are then combined and decoded to obtain the residuals between the input and target poses. Intermediate supervisions are imposed on all the predicted poses, which enforces the network to learn more representative features. Our proposed approach is evaluated on two standard benchmark datasets, i.e., the Human3.6M dataset and the CMU Mocap dataset. Experimental results demonstrate that our method outperforms the state-of-the-art approaches. Code and pre-trained models are available at https://github.com/Droliven/MSRGCN.

研究の動機と目的

• ポーズ系列における確率的・非周期的要因に起因する長期的人体運動予測の課題に対処すること。
• 関節のマルチスケール抽象化を通じて、人体ポーズの階層的および文脈的関係をモデル化すること。
• トレーニング中に複数スケールで中間監視を適用することで、特徴表現を向上させること。
• 入力ポーズとターゲットポーズの差分を予測するリーマンスGCNブロックを学習することで、予測精度を向上させること。
• U-Net風のマルチスケールアーキテクチャと双方向GCN処理の有効性を示すこと。

提案手法

• 細かいスケールから粗いスケールへと向かう降下パスを形成するように、関節群を再帰的に粗いポーズに抽象化するマルチスケールアーキテクチャを採用する。
• 各スケールでグラフ畳み込みネットワーク（GCN）を用いて空間的・時間的特徴を抽出し、入力ポーズと出力ポーズの間にリーマンス接続を設ける。
• 粗いスケールから細かいスケールへと向かう逆方向の上行パスにより、文脈的な精錬を実現する。
• 各スケールで中間監視を適用し、より代表的な特徴の学習を促進する。
• すべてのスケールで予測されたポーズに対するL2損失を用いて、エンドツーエンドでネットワークを訓練する。リーマンス学習により、絶対的ポーズではなくポーズ差分を予測する。
• 抽象化のための関節グループ化戦略は、解剖学的近接性に基づいて手動で設計されており、アブレーションスタディによりその影響が検証されている。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールポーズ抽象化は、運動パターンの安定化を通じて長期的人体運動予測を改善できるか？
• RQ2 細かいスケールから粗いスケール、およびその逆方向の双方向特徴抽出は、GCNにおける運動予測の特徴表現を向上させるか？
• RQ3 複数スケールでの中間監視は、予測精度の向上にどの程度有効か？
• RQ4 リーマンスGCNと全結合層の間で、運動予測性能にどのような差が生じるか？
• RQ5 マルチスケール関節グループ化戦略の選択に、性能がどの程度敏感か？

主な発見

• MSR-GCNは、Human3.6MおよびCMU Mocapデータセットの両方で最先端の性能を達成し、長期的な未来のポーズ予測において、既存の最先端手法を上回った。
• アブレーションスタディの結果、中間監視を削除すると性能が低下し、堅牢な特徴の学習に不可欠であることが確認された。
• リーマンスGCNを全結合層に置き換えると、性能が著しく低下し、骨格の運動学的関係をモデル化するGCNの重要性が裏付けられた。
• 4スケール（25-12-7-4関節）のマルチスケールアーキテクチャが最良の結果をもたらし、3スケール以下に減じると性能が低下した。
• デフォルトの関節グループ化戦略（解剖学的近接性に基づく）は、CMU Mocapデータセットでランダムおよび他の代替戦略を上回り、平均誤差37.28を記録した。これに対してランダム変種では40.99～47.04の範囲であった。
• 可視化結果から、MSR-GCNはアブレーションバージョンと比較して、特に長期予測時においてより正確で安定した運動シーケンスを生成することが確認された。