[論文レビュー] Spatio-temporal Manifold Learning for Human Motions via Long-horizon Modeling

He Wang, Edmond S. L. Ho+2 more|arXiv (Cornell University)|Aug 20, 2019

Human Pose and Action Recognition参考文献 47被引用数 9

ひとこと要約

本論文では、骨格特徴抽出のためのパーツベース空間符号化と、長期間時系列モデリングのためのバッチ予測ネットワークを組み合わせることで、3次元人体運動多様体をモデル化する深層学習フレームワークである時空間再帰ニューラルネットワーク（STRNN）を提案する。この手法により、高精細でオープンループな長期間の運動合成、ノイズ除去、制御ベース生成が可能となり、運動の自然さと分散の保持という点で先行手法を上回る性能を発揮する。

ABSTRACT

Data-driven modeling of human motions is ubiquitous in computer graphics and computer vision applications, such as synthesizing realistic motions or recognizing actions. Recent research has shown that such problems can be approached by learning a natural motion manifold using deep learning to address the shortcomings of traditional data-driven approaches. However, previous methods can be sub-optimal for two reasons. First, the skeletal information has not been fully utilized for feature extraction. Unlike images, it is difficult to define spatial proximity in skeletal motions in the way that deep networks can be applied. Second, motion is time-series data with strong multi-modal temporal correlations. A frame could be followed by several candidate frames leading to different motions; long-range dependencies exist where a number of frames in the beginning correlate to a number of frames later. Ineffective modeling would either under-estimate the multi-modality and variance, resulting in featureless mean motion or over-estimate them resulting in jittery motions. In this paper, we propose a new deep network to tackle these challenges by creating a natural motion manifold that is versatile for many applications. The network has a new spatial component for feature extraction. It is also equipped with a new batch prediction model that predicts a large number of frames at once, such that long-term temporally-based objective functions can be employed to correctly learn the motion multi-modality and variances. With our system, long-duration motions can be predicted/synthesized using an open-loop setup where the motion retains the dynamics accurately. It can also be used for denoising corrupted motions and synthesizing new motions with given control signals. We demonstrate that our system can create superior results comparing to existing work in multiple applications.

研究の動機と目的

• 既存の深層学習モデルが3次元人体運動データにおける空間的・時系列的ばらつきを捉えることの制限を解消すること。
• パーツベースの骨格符号化により空間的ばらつきを保持することで、あいまいさ解消ネットワークの必要性を排除すること。
• 長期間の時系列依存性と運動系列における多様性（マルチモーダルリティ）を、長期間損失関数を用いたバッチ予測によりモデル化すること。
• 反復的補正や外部制御信号なしに、正確なオープンループでの長期間運動生成を可能にすること。
• 学習された運動多様体の汎用性が、運動合成、ノイズ除去、制御ベース生成の各タスクにおいてどのように発揮されるかを示すこと。

提案手法

• 空間的コンponentは、人体骨格を意味的・空間的に近接するパーツ（例：上半身、脚）に分割し、局所的運動ばらつきを保持する。
• 階層的空間符号化器は、各骨格フレームを高次元潜在空間（512ユニット）にマッピングすることで、低次元埋め込みよりも優れた特徴表現を実現する。
• 時系列コンponentは、バッチ予測モデルを用い、運動の先行部分を符号化し、1回の順伝播で長期間の将来フレームを一括して復元する。
• 自然さの維持とジタリング、平均ポーズへの収束の低減を目的として、生成された全系列にわたって長期間予測損失を適用する。
• 再構成損失と長期間時系列整合性損失の組み合わせを用いて、エンド・トゥ・エンドでネットワークを訓練する。
• モデルはオープンループ設定で動作し、フィードバックや実行時エラー補正なしにシーケンスを生成する。

実験結果

リサーチクエスチョン

• RQ1 パーツベースの空間符号化戦略は、3次元運動モデリングにおいて、運動ばらつきを効果的に保持し、平均ポーズへの収束を回避できるか？
• RQ2 長期間損失関数を用いたバッチ予測は、自己回帰的またはフレームごとの予測と比較して、多様性と動的な運動系列のモデリングをどのように改善できるか？
• RQ3 学習された運動多様体は、明示的教師信号なしに、長期間運動合成、ノイズ除去、制御ベース生成といったタスクにどの程度一般化可能か？
• RQ4 環境情報やアクションラベルの欠如が、文脈的に適切な運動を生成する能力にどのような影響を及えるか？

主な発見

• STRNNは、実行時補正なしにオープンループ設定で最大20,000フレームにわたる長期間運動を生成でき、高い運動自然さと動的忠実性を維持した。
• LSTMベースのベースラインやアテンション機構と比較して優れた性能を示し、前者は平均ポーズに収束し、後者はジタリングを生じる傾向にあった。
• パーツベースの空間符号化は、グローバルまたは低次元符号化と比較して、運動ばらつきの保持を顕著に向上させ、別個のあいまいさ解消ネットワークの必要性を排除した。
• 長期間バッチ予測損失は、多様性と長距離依存性を効果的に捉え、運動ばらつきの過小・過大推定の両方を低減した。
• 学習された多様体は、ノイズ除去と制御信号を用いた合成に有効に機能し、複数の応用分野における汎用性を示した。
• 曖昧な遷移や環境的文脈の処理に限界があるものの、データ駆動型のグローバル多様体学習アプローチのおかげで、多様な運動タイプにわたって良好な一般化性能を示した。