[論文レビュー] Attention, please: A Spatio-temporal Transformer for 3D Human Motion Prediction

Emre Aksan, Peng Cao+2 more|arXiv (Cornell University)|Apr 18, 2020

Human Pose and Action Recognition被引用数 22

ひとこと要約

本論文では、ポーズ生成を条件付き系列合成タスクとしてモデル化することで、長期間予測のための空間時系列変換器アーキテクチャを提案する。空間的および時系列的自己注意メカニズムを分離して使用することで、長距離依存関係を捉え、誤差の蓄積を顕著に低減し、1秒を超える長期間の運動生成を実現する。

ABSTRACT

In this paper, we propose a novel architecture for the task of 3D human motion modelling. We argue that the problem can be interpreted as a generative modelling task: A network learns the conditional synthesis of human poses where the model is conditioned on a seed sequence. Our focus lies on the generation of plausible future developments over longer time horizons, whereas previous work considered shorter time frames of up to 1 second. To mitigate the issue of convergence to a static pose, we propose a novel architecture that leverages the recently proposed self-attention concept. The task of 3D motion prediction is inherently spatio-temporal and thus the proposed model learns high dimensional joint embeddings followed by a decoupled temporal and spatial self-attention mechanism. The two attention blocks operate in parallel to aggregate the most informative components of the sequence to update the joint representation. This allows the model to access past information directly and to capture spatio-temporal dependencies explicitly. We show empirically that this reduces error accumulation over time and allows for the generation of perceptually plausible motion sequences over long time horizons as well as accurate short-term predictions. Accompanying video available at https://youtu.be/yF0cdt2yCNE .

研究の動機と目的

• 通常の短期予測を超えて、現実的で整合性のある長期的3次元人体運動シーケンスを生成する課題に対処すること。
• 長期間予測における誤差蓄積と静止姿勢への収束を軽減すること。
• 構造化された注意メカニズムを用いて、人体運動に内在する複雑な空間時系列的依存関係をモデル化すること。
• 生成モデルフレームワークを用いて、初期シーケンスから未来のポーズを条件付きで生成可能にすること。

提案手法

• モデルは3次元運動予測を、初期ポーズシーケンスに条件づけた条件付き生成モデルタスクとして定式化する。
• 二重ブランチの注意メカニズムを採用：関節埋め込み上で並列に動作する、分離された空間的および時系列的自己注意ブロック。
• 空間的自己注意は各時刻における身体関節間の関係を捉えるのに対し、時系列的自己注意は時刻間の依存関係をモデル化する。
• 関節表現は注意付き集約によって更新され、関連する過去の情報を直接アクセス可能になる。
• アーキテクチャは、シーケンス上の再構成誤差を最小化することで、将来のポーズを予測するように訓練される。
• モデルは長期間予測の評価が行われ、定性的な結果は補足動画に示されている。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのアーキテクチャは、誤差蓄積を低減しつつ、長期間の3次元人体運動予測を効果的にモデル化できるか？
• RQ2 分離された空間的および時系列的注意は、人体運動の空間時系列的依存関係のモデル化をどのように改善するか？
• RQ3 モデルは1秒を超える範囲でも、人間が自然に感じ取るような運動シーケンスをどの程度生成できるか？
• RQ4 条件付き生成アプローチは、従来の手法に比べて長期運動生成において優れているか？

主な発見

• 提案手法は、従来手法と比較して、長期間にわたり顕著な誤差蓄積の低減を達成した。
• モデルは1秒を超える範囲でも、人間が自然に感じ取るような運動シーケンスを生成でき、長期的な整合性が向上したことを示した。
• 分離された注意メカニズムは、空間的関節関係と時系列的ダイナミクスの両方を効果的に捉えた。
• 短期予測においても高い精度を維持しながら、長期予測において優れた性能を発揮した。
• 付随する動画における定性的な結果から、生成された運動シーケンスの現実性と多様性が確認された。
• 自己注意により、過去の関連情報を直接アクセス可能にすることで、時系列モデリングの忠実度が向上した。