[論文レビュー] Spatiotemporal Co-attention Recurrent Neural Networks for Human-Skeleton Motion Prediction

Xiangbo Shu, Liyan Zhang+3 more|arXiv (Cornell University)|Sep 29, 2019

Human Pose and Action Recognition被引用数 7

ひとこと要約

本稿では、骨格関節協調注意（SCA）機構を用いて、人体関節間の空間的整合性とスケルトンの時間的変化を統合的にモデル化する、新たなアーキテクチャであるSpatiotemporal Co-attention Recurrent Neural Networks（SC-RNN）を提案する。空間的および時間的次元にわたり動的注意重みを学習することで、SC-RNNは既存手法に比べて、長期間予測（1000ms）において平均絶対誤差（MAE）を0.8削減し、先行研究のMHU手法を上回る性能を達成した。

ABSTRACT

Human motion prediction aims to generate future motions based on the observed human motions. Witnessing the success of Recurrent Neural Networks (RNN) in modeling the sequential data, recent works utilize RNN to model human-skeleton motion on the observed motion sequence and predict future human motions. However, these methods did not consider the existence of the spatial coherence among joints and the temporal evolution among skeletons, which reflects the crucial characteristics of human motion in spatiotemporal space. To this end, we propose a novel Skeleton-joint Co-attention Recurrent Neural Networks (SC-RNN) to capture the spatial coherence among joints, and the temporal evolution among skeletons simultaneously on a skeleton-joint co-attention feature map in spatiotemporal space. First, a skeleton-joint feature map is constructed as the representation of the observed motion sequence. Second, we design a new Skeleton-joint Co-Attention (SCA) mechanism to dynamically learn a skeleton-joint co-attention feature map of this skeleton-joint feature map, which can refine the useful observed motion information to predict one future motion. Third, a variant of GRU embedded with SCA collaboratively models the human-skeleton motion and human-joint motion in spatiotemporal space by regarding the skeleton-joint co-attention feature map as the motion context. Experimental results on human motion prediction demonstrate the proposed method outperforms the related methods.

研究の動機と目的

• 既存のRNNベースの人体運動予測手法が時間的空間でのみ運動をモデル化しており、関節間の空間的整合性を無視しているという限界を解消すること。
• 人体関節間の空間的依存関係とスケルトンの時間的ダイナミクスを、統一されたフレームワークで同時に捉えること。
• 空間的および時間的次元にわたり関連する歴史的運動状態に動的注意を向けることで、長期運動予測の精度を向上させること。
• 骨格関節特徴マップ上で関節的注意重みを学習する新たな注意メカニズムを考案し、洗練された運動文脈表現を実現すること。

提案手法

• 観測された運動シーケンスを符号化する骨格関節特徴マップを構築し、行は関節タイプ、列は時間フレームを表す。
• 骨格関節特徴マップ上で、空間（関節）および時間（フレーム）の両次元にわたり動的注意重みを学習するSkeleton-joint Co-Attention（SCA）メカニズムを設計する。
• SCAをGated Recurrent Unit（GRU）の変種に統合し、Spatiotemporal空間における人間関節および人間スケルトン運動を統合的にモデル化するSkeleton-joint Co-attention GRU（SC-GRU）を構築する。
• 予測された運動シーケンスの構造的一致性を最適化するため、重み付きGram行列損失関数を提案する。
• 全観測運動シーケンスを運動文脈として用い、SCAが予測に最も関連する文脈部分を動的に精錬する。
• H3.6Mデータセット上でSC-RNNモデルを訓練および評価し、ERD、LSTM-3LR、Res-GRU、MHUを含む最先端手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 関節間の空間的整合性とスケルトンの時間的変化を同時にモデル化することで、長期人体運動予測が改善できるか？
• RQ2 空間的および時間的次元にわたる協調注意メカニズムは、従来の時間的のみの注意と比較して、運動予測においてどのように異なるか？
• RQ3 提案されたSCAメカニズムは、観測シーケンス内の関節およびフレームを的確に選択的に注目することで、運動文脈をどの程度精錬できるか？
• RQ4 GRUベースのアーキテクチャにSCAを統合することで、標準的なRNNや注意強化RNNに比べ、より正確で現実的な運動生成が可能になるか？
• RQ5 提案された重み付きGram行列損失は、予測された人体運動シーケンスの構造的忠実性を向上させられるか？

主な発見

• MHU手法と比較して、1000msの長期運動予測において平均絶対誤差（MAE）が0.8削減され、優れた長期予測精度を示した。
• H3.6Mデータセットにおいて、15の人体動作のうち12個でMAEが最低を記録し、「挨拶」や「歩行」などの動作で顕著な改善が見られた。
• 定性的な結果から、ERD、LSTM-3LR、Res-GRUと比較して、SC-RNNは特に手首や四肢の位置に正確な運動詳細を生成していることがわかった。
• SCAメカニズムにより、モデルは関連する関節や時間フレームに動的に注目でき、文脈表現の質と予測の正確性が向上した。
• ERDやLSTM-3LRに比べて、特に長期運動予測において大幅な性能向上を示し、時空間的協調注意の有効性を裏付けた。
• 提案された重み付きGram行列損失は、予測された運動シーケンスの構造的一致性を向上させたことが、実際のデータとの定性的比較から明らかになった。