[論文レビュー] Dynamic Multiscale Graph Neural Networks for 3D Skeleton-Based Human Motion Prediction

Maosen Li, Siheng Chen+4 more|arXiv (Cornell University)|Mar 17, 2020

Human Pose and Action Recognition参考文献 49被引用数 29

ひとこと要約

本稿では、3次元スケルトンに基づく人間の動き予測のための動的マルチスケールグラフニューラルネットワーク（DMGNN）を提案する。本手法は、複数の空間スケールにわたる階層的な身体部の関係をモデル化するため、適応的かつ動的なマルチスケールグラフを用いる。新しいマルチスケールグラフ計算ユニット（MGCU）を採用し、単一スケールおよびクロススケールのグラフ畳み込みを組み合わせ、デコーダーでグラフベースのGRUを用いることで、短期および長期の両方の予測において、Human 3.6MおよびCMU Mocapデータセットで最先端の性能を達成した。

ABSTRACT

We propose novel dynamic multiscale graph neural networks (DMGNN) to predict 3D skeleton-based human motions. The core idea of DMGNN is to use a multiscale graph to comprehensively model the internal relations of a human body for motion feature learning. This multiscale graph is adaptive during training and dynamic across network layers. Based on this graph, we propose a multiscale graph computational unit (MGCU) to extract features at individual scales and fuse features across scales. The entire model is action-category-agnostic and follows an encoder-decoder framework. The encoder consists of a sequence of MGCUs to learn motion features. The decoder uses a proposed graph-based gate recurrent unit to generate future poses. Extensive experiments show that the proposed DMGNN outperforms state-of-the-art methods in both short and long-term predictions on the datasets of Human 3.6M and CMU Mocap. We further investigate the learned multiscale graphs for the interpretability. The codes could be downloaded from https://github.com/limaosen0/DMGNN.

研究の動機と目的

• 既存手法がペアワイズな関節接続を超えた複雑な機能的関係をモデル化する点で限界を示しているのを是正すること。
• 局所的およびグローバルな運動ダイナミクスを捉える階層的かつマルチスケールの人体表現を開発すること。
• 行動ラベルに依存せずに、判別性があり動きに敏感なグラフ構造を学習することで、行動カテゴリに依存しない動き予測を可能にすること。
• 高次運動差分（速度、加速度）を入力プロキシとして統合することで、長期的な動き予測を向上させること。
• 学習可能なグラフ構造を用いた状態伝播をモデル化することで、構造的状態伝播を実現するグラフベースのGRUを導入し、ポーズ生成を向上させること。

提案手法

• 複数スケール（例：手、腕、胴体）の身体部をノードとして表現し、スケール内およびスケール間の関係をモデル化する動的マルチスケールグラフ表現を提案する。
• 単一スケールグラフ畳み込みブロック（SS-GCB）を用いてスケール固有の特徴抽出を実現するとともに、クロススケール統合ブロック（CS-FB）を用いてスケール間の特徴転送と統合を実現するマルチスケールグラフ計算ユニット（MGCU）を導入する。
• ネットワークの各レイヤーで進化する適応的かつトレーニング可能なグラフトポロジーを採用し、トレーニング中に動きに敏感な構造的関係を学習可能にする。
• CS-FBで相対的特徴表現を用いることで、クロススケール特徴のアライメントと統合性能を向上させる。
• エンコーダーおよびデコーダーにおける時間的ダイナミクスを豊かにするために、高次運動差分（位置、速度、加速度）を入力特徴として統合する。
• デコーダーにグラフベースのゲート付き再帰ユニット（G-GRU）を導入し、学習可能なグラフ構造を用いて状態伝播を最適化し、将来のポーズを生成する。

実験結果

リサーチクエスチョン

• RQ1 動的かつマルチスケールのグラフ表現は、3次元人間の動き予測において階層的な身体部関係を効果的にモデル化できるか？
• RQ2 エンコーダーの最終段階での統合に比べ、複数段階に跨るクロススケール特徴統合が長期的動き予測性能を向上させるか？
• RQ3 高次運動差分（例：速度、加速度）は、グラフベースの系列モデルにおける予測精度にどのように影響を与えるか？
• RQ4 行動カテゴリの教師なし条件下で、学習されたマルチスケールグラフが判別性のある行動固有のパターンをどの程度捉えられるか？
• RQ5 提案されたグラフベースのGRUは、標準的なRNNと比較して、動き予測タスクにおける時間的モデリングとポーズ生成をどの程度向上させられるか？

主な発見

• DMGNNは、Human 3.6MおよびCMU Mocapデータセットの両方で最先端の性能を達成した。0、1、2次の運動差分を用いた場合、Human 3.6Mにおける400 msでの平均絶対誤差（MAE）は0.27 mであった。
• 2つのクロススケール統合ブロック（CS-FB）を搭載したモデルが最良の性能を示し、0、1、3つのCS-FBを搭載した構成と比較して、特徴統合と情報の冗長性の最適なバランスが達成された。
• CS-FBで相対的特徴を用いることで、非相対的特徴と比較してMAEが最大0.06 m低減され、クロススケールアライメントにおける有効性が裏付けられた。
• 3つのスケールと2つのCS-FBを用いた場合、最終統合係数λ = 0.6が最小のMAEを達成し、スケール統合の堅牢性と最適性を示した。
• 2番目のCS-FBで学習されたクロススケールグラフは、1番目のCS-FBよりも高い判別力（40.1%の正確度）を示し、より深い機能的構造の学習が行われたことを示した。
• DMGNNは、比較対象のすべての手法の中で、エンコーダー特徴に基づく行動分類正確度が最高の45.7%を達成し、カテゴリに依存しない判別性のある運動表現を学習可能であることを確認した。