[論文レビュー] Convolutional Sequence to Sequence Model for Human Dynamics

Chen Li, Zhen Zhang+2 more|arXiv (Cornell University)|May 2, 2018

Human Pose and Action Recognition参考文献 18被引用数 30

ひとこと要約

本稿では、空間的・時間的相関を捉えるために、長期および短期の畳み込みエンコーダーを備えた階層的エンコーダ・デコーダアーキテクチャを用いた、人間の運動予測のための畳み込みシーケンス・ツー・シーケンスモデルを提案する。この手法は、平均ポーズ問題を軽減することで、特に長期予測において、RNNベースの最先端モデルを上回り、Human3.6MおよびCMU Mocapデータセットにおいてより現実的な運動シーケンスを生成する。

ABSTRACT

Human motion modeling is a classic problem in computer vision and graphics. Challenges in modeling human motion include high dimensional prediction as well as extremely complicated dynamics.We present a novel approach to human motion modeling based on convolutional neural networks (CNN). The hierarchical structure of CNN makes it capable of capturing both spatial and temporal correlations effectively. In our proposed approach,a convolutional long-term encoder is used to encode the whole given motion sequence into a long-term hidden variable, which is used with a decoder to predict the remainder of the sequence. The decoder itself also has an encoder-decoder structure, in which the short-term encoder encodes a shorter sequence to a short-term hidden variable, and the spatial decoder maps the long and short-term hidden variable to motion predictions. By using such a model, we are able to capture both invariant and dynamic information of human motion, which results in more accurate predictions. Experiments show that our algorithm outperforms the state-of-the-art methods on the Human3.6M and CMU Motion Capture datasets. Our code is available at the project website.

研究の動機と目的

• RNNベースの人間の運動予測モデルに一般的に見られる長期予測における平均ポーズ問題に対処すること。
• 遠くの時間的依存性と近い時間的依存性の両方を捉えることで、長期予測の精度を向上させること。
• 歩行や走行中の協調的な四肢の動きなど、身体部位間の複雑な空間的・時間的相関をモデル化すること。
• 再帰的ネットワークではなく畳み込みネットワークを用いることで、より強固で現実的な人間の運動予測フレームワークを構築すること。
• 特にジャンプや走行といった困難な動作に対して、標準ベンチマークで優れた性能を示すこと。

提案手法

• 入力運動シーケンスからのグローバルな時間的依存性を抽出するために、長期畳み込みエンコーダーを採用する。
• 最近のフレームのスライディングウインドウ内で局所的な時間的ダイナミクスを捉えるために、短期畳み込みエンコーダーを用いる。
• 長期および短期の隠れ表現を統合し、将来の運動フレームを生成する空間的デコーダーを構築する。
• 身体関節間の空間的関係を効果的にモデル化するため、畳み込みエンコーダーモジュールに2×7の長方形カーネルを適用する。
• 推論の計算複雑性を増加させずに、生成された運動シーケンスの妥当性を向上させるために、訓練時に敵対的正則化子を組み込む。
• 計算コストと予測精度のバランスを取るために、設定可能な視認範囲（C）を持つウィンドウドデコーディング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みシーケンス・ツー・シーケンスモデルは、RNNベースのモデルに比べて長期人間の運動予測で優れるか？
• RQ2 階層的な畳み込みエンコーダーの使用は、人間の運動における空間的・時間的相関のモデル化を改善するか？
• RQ3 長期エンコーダーは、長期運動予測における平均ポーズ問題をどの程度軽減するか？
• RQ4 カーネル形状（例：2×7対4×4）の違いが、空間的・時間的特徴抽出の性能にどのように影響するか？
• RQ5 精度と計算効率の観点から、短期エンコーダーの最適なウィンドウサイズは何か？

主な発見

• Human3.6Mにおいて、1000ms予測時の平均テスト誤差はRRNNと比較して12.5％低減され、1.77ms（RRNN：1.88ms）を達成した。
• CMU Mocapデータセットでは、1000ms予測時の平均誤差が1.55msにまで低下し、RRNNの1.67msを上回った。
• 長期予測においても平均ポーズへの収束を回避し、走行やジャンプといった複雑な動作でさえも運動ダイナミクスを維持した。
• アブレーションスタディの結果、長期エンコーダーを削除すると1000msでの誤差が0.11ms増加し、長期依存性学習におけるその重要性が裏付けられた。
• 2×7カーネルが最良の性能（80msでの誤差0.38ms）を示し、4×4（0.41ms）および7×2（0.40ms）カーネルを上回った。
• 敵対的正則化子はわずかに性能を向上させ、訓練時のみに使用されるため、推論効率に影響を与えない。