[論文レビュー] Imitation Learning for Human Pose Prediction

Borui Wang, Ehsan Adeli+3 more|arXiv (Cornell University)|Sep 8, 2019

Human Pose and Action Recognition参考文献 50被引用数 5

ひとこと要約

本論文は、強化学習の枠組み内で行動コーディングと生成的対抗的模倣学習（GAIL）を組み合わせることで、人間のポーズ予測のための新規な模倣学習フレームワークを提案する。この手法は、Human 3.6M データセットにおいて最先端の性能を達成し、短時間および長時間のポーズ予測の両面で、従来のモデルを著しく上回るとともに、ベースライン手法と比較して最大24倍速い学習速度を実現した。

ABSTRACT

Modeling and prediction of human motion dynamics has long been a challenging problem in computer vision, and most existing methods rely on the end-to-end supervised training of various architectures of recurrent neural networks. Inspired by the recent success of deep reinforcement learning methods, in this paper we propose a new reinforcement learning formulation for the problem of human pose prediction, and develop an imitation learning algorithm for predicting future poses under this formulation through a combination of behavioral cloning and generative adversarial imitation learning. Our experiments show that our proposed method outperforms all existing state-of-the-art baseline models by large margins on the task of human pose prediction in both short-term predictions and long-term predictions, while also enjoying huge advantage in training speed.

研究の動機と目的

• 教師付きRNNベースの手法が人間のポーズ予測において示す限界、すなわち一般化性能の低さや短期的・長期的精度の不均衡を是正すること。
• 深層強化学習の長所、特に一般化性能と順序的整合性を活用して、人間の運動ダイナミクスをモデル化すること。
• 環境報酬信号が不要な状況でも、実際の人間の運動シーケンス（エキスパートのデモンストレーション）から学習する模倣学習フレームワークを構築すること。
• 行動コーディングとGAILをハイブリッドで組み合わせることで、サンプル効率性とポリシーの一般化能力を向上させること。
• 予測精度を維持または向上させつつ、既存の最先端モデルと比較してより高速な学習速度を達成すること。

提案手法

• 実際の人間の運動シーケンスからのエキスパートのデモンストレーションを用い、環境報酬が存在しない強化学習問題としてポーズ予測を定式化する。
• 生成的対抗的模倣学習（GAIL）を採用し、評価ネットワーク $D_w$ とポリシー生成器 $\pi_\theta$ を用いて、エキスパートの軌道と生成された軌道を区別する。
• 長期間にわたるポーズシーケンスの依存関係をモデル化し、可変長の履歴観測に対応するため、seq2seqアーキテクチャを統合する。
• ポリシーネットワークの初期化を向上させ、サンプル効率性と収束速度を向上させるために、行動コーディングを事前学習ステップとして採用する。
• 人間のポーズ出力が連続的かつ高次元であるという特徴を考慮し、深層決定的方策勾配（DDPG）を用いてポリシーを最適化する。
• 学習安定性と長時間予測性能の向上を図るため、ウィンドウド予測戦略（例：2フレームごとに予測）を実装する。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づく模倣学習フレームワークは、教師付きRNNと比較して、人間のポーズ予測における短期的および長期的精度を向上させることができるか？
• RQ2 行動コーディングとGAILを組み合わせることで、ポーズ予測におけるサンプル効率性と収束速度にどのような影響を与えるか？
• RQ3 提案手法は、学習データに含まれない未観測の人体運動ドメインに対しても、どの程度一般化できるか？
• RQ4 提案手法は、既存の最先端モデルと比較して、優れた性能を維持しながらも、より高速な学習を達成できるか？
• RQ5 今後のポーズ予測において、環境要因、物体、意図といった複雑な要因をモデル化するために、このフレームワークを拡張可能か？

主な発見

• 提案手法BC+WGAIL-divは、Human 3.6M データセットにおいて、短時間（例：80ms）および長期的（例：1000ms）予測の両面で、すべての先行モデルを上回る新たな最先端性能を達成した。
• 1000ms予測において、平均角度誤差は1.32°にまで低下し、次に優れたベースライン（BC単体で1.36°、WGAIL-div単体で1.33°）を著しく下回った。
• 長期予測において、最も優れたベースライン（Residual）と比較して、平均角度誤差を最大19%まで低減した。特に複雑な動作においてその改善効果が顕著に現れた。
• 4枚のNVIDIA Titan GPUを用いて、学習時間を20分未満にまで短縮した。これは、Residual や TP-RNN などのベースラインモデルが8時間以上を要するのと比較して、24倍の高速化を達成したことを意味する。
• アブレーションスタディの結果、行動コーディングとWGAIL-divの両方が不可欠であることが確認された。いずれかのコンponentを削除すると性能が低下し、両者の補完的役割が裏付けられた。
• 可視化結果から、予測されたポーズが、特に長期間にわたるシーケンスにおいて、ベースラインの予測と比較してより自然で、真値に近い形状を示していることがわかった。