[論文レビュー] QuaterNet: A Quaternion-based Recurrent Model for Human Motion

Dario Pavllo, David Grangier+1 more|arXiv (Cornell University)|May 16, 2018

Human Pose and Action Recognition参考文献 63被引用数 142

ひとこと要約

QuaterNetは、2層GRU RNNを用いた微分可能なフォワードキネマティクス損失と四元数回転を用いて3D人体モーションを予測し、短期角度予測の最先端を達成し、長期的なリアルな移動生成を実現します。

ABSTRACT

Deep learning for predicting or generating 3D human pose sequences is an active research area. Previous work regresses either joint rotations or joint positions. The former strategy is prone to error accumulation along the kinematic chain, as well as discontinuities when using Euler angle or exponential map parameterizations. The latter requires re-projection onto skeleton constraints to avoid bone stretching and invalid configurations. This work addresses both limitations. Our recurrent network, QuaterNet, represents rotations with quaternions and our loss function performs forward kinematics on a skeleton to penalize absolute position errors instead of angle errors. On short-term predictions, QuaterNet improves the state-of-the-art quantitatively. For long-term generation, our approach is qualitatively judged as realistic as recent neural strategies from the graphics literature.

研究の動機と目的

• 3D人体ポーズモデリングにおける回転および位置表現の制約を解決する。
• 四元数ベースの関節回転パラメータ化を提案し、不連続性と特異点を回避する。
• 絶対関節位置を角度ではなくペナルティする微分可能なフォワードキネマティクス損失を導入する。
• Human3.6mでの短期予測精度の改善と、長期的な移動生成の競争力を示す。
• 安定性のためにモデル自身の予測へのカリキュラム露出を伴うエンドツーエンド学習を提供する。

提案手法

• 関節回転を単位四元数として表現し、正規化レイヤーによる小さなペナルティを用いて単位ノルムを強制する3Dスケルトンとして人間をモデル化する。
• 初期フレームから未来のポーズ状態を予測するために、2層GRU自己回帰ネットワーク（各層1000隠れユニット）を用いる。
• 回転デルタ（速度）または絶対回転のいずれかを予測する。短期では四元数積を適用して回転を更新する。
• 予測された関節位置を参照ポーズと比較する、角度誤差だけに依存しない、微分可能なフォワードキネマティクスベースの位置損失を計算する。
• 四元数出力を正則化し、前のフレームに最も近い表現（qまたは -q）を選択して時間的一貫性を確保する。
• 長期生成のために、経路に沿ってポーズ生成を駆動する軌道パラメータ（速度、向き、テンポ）を出力する補助ペースネットワークを組み込む。
• モデル自身の予測に段階的に露出させるカリキュラム学習（スケジュールドサンプリング）を採用して曝露バイアスを緩和する。

実験結果

リサーチクエスチョン

• RQ1 四元数ベースの回転パラメータ化は、再発動作モデルにおけるEuler角や指数マップで見られる不連続性と不安定性を低減できるか。
• RQ2 微分可能なフォワードキネマティクス位置損失は、短期予測の人間が知覚する精度と長期的な移動生成の整合性を改善するか。
• RQ3 速度ベース（デルタ）対絶対回転予測は、QuaterNetの短期対長期タスクにおいてどのように比較されるか。
• RQ4 オンラインでリアルタイムな長期移動生成は、現実性を維持しつつ controllable な軌道パラメータで実現可能か。
• RQ5 長期的な予測でのカリキュラム学習が安定性と精度に与える影響はどの程度か。

主な発見

• QuaterNetは、短期の角度予測ベンチマーク（Human3.6m）において、アクションと時間的幅を問わず最先端の結果を達成している。
• 長期生成では、速度ベースの学習はドリフトを減らすためにスケジュールドサンプリングの恩恵を受ける一方、絶対回転モデリングは安定性が高く不連続性が少ない。
• フォワードキネマティクスの位置損失は、長期生成において角度ベースの損失より位置誤差が小さく、訓練の安定性が向上する。
• 四元数ベースのレジームは、回転ベースの予測に伴う骨長違反や不連続性を回避し、生成される移動の現実性において競争力を持つ。
• この手法はペースネットによる軌道パラメータのリアルタイムオンライン生成をサポートし、速度、向き、テンポの artist風制御を可能にする。