[論文レビュー] HumanMAC: Masked Motion Completion for Human Motion Prediction

Ling-Hao Chen, Jiawei Zhang+4 more|arXiv (Cornell University)|Feb 7, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

HumanMACは、ノイズからシーケンスを生成するように訓練された動き拡散モデルを活用し、観測された動きのマスキング条件下でDCTベースのノイズ除去により推論時に適応させる、人間の動き予測のための新しいマスキング運動補完フレームワークを提案する。本手法は、単一の損失関数、エンド・ツー・エンドの学習、優れた動きの多様性（まれな動きカテゴリの切り替えを含む）を実現し、CMU-MoCapおよびAMASSベンチマークで最先端の性能を達成する。

ABSTRACT

Human motion prediction is a classical problem in computer vision and computer graphics, which has a wide range of practical applications. Previous effects achieve great empirical performance based on an encoding-decoding style. The methods of this style work by first encoding previous motions to latent representations and then decoding the latent representations into predicted motions. However, in practice, they are still unsatisfactory due to several issues, including complicated loss constraints, cumbersome training processes, and scarce switch of different categories of motions in prediction. In this paper, to address the above issues, we jump out of the foregoing style and propose a novel framework from a new perspective. Specifically, our framework works in a masked completion fashion. In the training stage, we learn a motion diffusion model that generates motions from random noise. In the inference stage, with a denoising procedure, we make motion prediction conditioning on observed motions to output more continuous and controllable predictions. The proposed framework enjoys promising algorithmic properties, which only needs one loss in optimization and is trained in an end-to-end manner. Additionally, it accomplishes the switch of different categories of motions effectively, which is significant in realistic tasks, e.g., the animation task. Comprehensive experiments on benchmarks confirm the superiority of the proposed framework. The project page is available at https://lhchen.top/Human-MAC.

研究の動機と目的

• 従来のエンコーディング・デコーディングフレームワークにおける制限、すなわち複雑な損失関数、マルチステージの学習、および動きカテゴリの切り替えが不十分である問題を解決すること。
• 人間の動き予測をマスキング補完タスクとして再考することで、制御可能で多様な動き予測を可能にすること。
• 複数の損失部成分におけるハイパーパrameterチューニングを回避するため、単一の損失関数とエンド・ツー・エンド最適化により学習を簡素化すること。
• 入力シーケンスに存在しなくても、自然な動きカテゴリの遷移（例：歩行から座る）を生成できることで、現実性と多様性を向上させること。
• 観測済みフレームと予測フレームの間の連続性を保証するため、全動きシーケンスを統合的にモデル化する包括的なフレームワークを構築すること。

提案手法

• 本フレームワークは、学習段階で、ランダムノイズから人間の動きシーケンスを生成するように動き拡散モデルを訓練する。
• 推論段階では、観測された動きのノイズ混じり表現をノイズ除去することで、動き予測をマスキング補完タスクとして扱う。
• 新規のDCT補完機構は、学習可能なマスクを用いてノイズ除去済みおよびノイズ混じりのスペクトル表現を組み合わせ、観測された動きに条件付けた予測を実現する。
• 本手法は、動きの低周波成分および高周波成分をモデル化するために離散コサイン変換（DCT）を活用し、滑らかさと正確性を向上させる。
• パイプライン全体は、複数段階の学習や敵対的損失を不要とする単一の再構成損失関数でエンド・ツー・エンドに訓練される。
• 長時間予測のため、逐次的に過去の予測に条件づけて、自己回帰的にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 マスキング運動補完フレームワークは、従来のエンコーディング・デコーディングアーキテクチャを上回る性能を示せるか？
• RQ2 単一損失関数とエンド・ツー・エンドの拡散モデルは、学習の簡素化とハイパーパrameterチューニングの削減を実現しながら、最先端の性能を達成できるか？
• RQ3 入力シーケンスに存在しなくても、モデルは自然に動きカテゴリの切り替え（例：歩行から座る）を生成できるか？
• RQ4 DCTベースのスペクトルモデリングは、原始的な時間的モデリングと比較して、動きの滑らかさと正確性をどのように向上させるか？
• RQ5 本フレームワークは、多様で現実的な出力を得るために、長時間予測に一般化可能か？

主な発見

• HumanMACはCMU-MoCapおよびAMASSデータセットでSOTAの性能を達成し、CMU-MoCapではAPDが8.021、ADEが0.433を記録し、先行するVAEおよび拡散モデルを上回る。
• AMASSではAPDが9.321、ADEが0.511を達成し、多様な動きスタイルにわたる強力な一般化能力を示している。
• アブレーションスタディにより、DCTモデリングが予測の正確性と滑らかさを向上させ、DCTなし（ADE 0.444）とDCTあり（ADE 0.369）の比較でADEが低下することが確認された。
• HumanMACは、入力シーケンスにそのような遷移が存在しなくても、スクワットから立ち上がり、または立ち上がりから歩行への自然な動きの遷移を実現する多様で連続的な動きを生成可能である。
• ベースラインと比較して、長時間予測においてよりダイナミックで過剰に滑らかでない出力を生成する。ベースラインは静的または繰り返しの動きを生成する傾向がある。
• 本フレームワークは、1つの損失関数のみを用い、エンド・ツー・エンドで学習されるため、マルチステージ学習や複雑な損失バランスの必要がなくなる。