[論文レビュー] Motion Prediction with Recurrent Neural Network Dynamical Models and Trajectory Optimization

Philipp Kratzer, Marc Toussaint+1 more|arXiv (Cornell University)|Jun 28, 2019

Autonomous Vehicle Technology and Safety参考文献 11被引用数 4

ひとこと要約

本稿では、短時間の人体運動ダイナミクスをGRUベースの再帰ニューラルネットワークでモデル化するとともに、勾配ベースの軌道最適化を用いて長期的な目標と環境的制約を統合する運動予測フレームワークを提案する。学習されたダイナミクスを活用し、目標状態に向けて軌道を最適化することで、特に長時間予測における到達運動において、ベースラインと比較して顕著に高い予測精度を達成する。

ABSTRACT

Predicting human motion in unstructured and dynamic environments is difficult as humans naturally exhibit complex behaviors that can change drastically from one environment to the next. In order to alleviate this issue, we propose to encode the lower level aspects of human motion separately from the higher level geometrical aspects, which we believe will generalize better over environments. In contrast to our prior work~\cite{kratzer2018}, we encode the short-term behavior by using a state-of-the-art recurrent neural network structure instead of a Gaussian process. In order to perform longer-term behavior predictions that account for variation in tasks and environments, we propose to make use of gradient-based trajectory optimization. Preliminary experiments on real motion data demonstrate the efficacy of the approach.

研究の動機と目的

• 設定によって顕著に異なる行動を示す非構造的かつ動的な環境下で、複雑な人間の運動を予測する課題に取り組む。
• 運動予測におけるガウス過程ベースのモデルのスケーラビリティの限界を克服するため、深層学習の代替手段に置き換える。
• 軌道最適化を用いて環境的およびタスクレベルの制約を統合することで、長期的な運動予測の精度を向上させる。
• 低レベルのダイナミクス学習と高レベルの目標仕様を分離することで、多様な人間の行動と環境への一般化を可能にする。

提案手法

• 生のモーショングラフデータから短時間の人体運動ダイナミクスをモデル化するため、シーケンス・トゥ・シーケンスのGRUネットワークを用い、次に0.5秒分の全身キネマティクスを予測するように訓練する。
• 連続的な運動データから固定長1秒の軌道をスライディングウィンドウ法で抽出し、位置バイアスを回避するためのランダムなベース変換を適用する。
• GRUで予測されたダイナミクスを、目標状態の制約を組み込んだコスト関数を最小化する軌道最適化フレームワークに統合する。
• 勾配ベースの最適化を用いて全軌道を最適化し、予測された経路が目標位置を尊重しつつ、学習されたダイナミクスに従うように保証する。
• 目標位置からの逸脱をペナルティとする目標条件付きコスト関数を用い、長期的な予測が高精度になるようにする。
• 訓練済みのGRUモデルを再訓練せずに保持する。最適化ステップのみを目標制約を含むように変更することで、既存のRNNと即座に統合可能となる。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の再帰ニューラルネットワークが、一般化性とスケーラビリティを維持したまま、運動予測におけるガウス過程の代替として機能できるか。
• RQ2 軌道最適化による目標状態の制約統合が、直接的なRNN出力と比較して、長期的な運動予測の精度をどの程度向上させるか。
• RQ3 タスク固有の微調整なしに、多様な到達タスクと物体配置に対して、GRUベースのモデルがどの程度一般化できるか。
• RQ4 右手のエンドエフェクタの目標位置のみを入力とした場合、単純な目標制約を用いた軌道最適化が予測品質を顕著に向上させるか。
• RQ5 学習されたダイナミクスと最適化の組み合わせが、実世界の人間運動データにおける複雑な全身運動パターンを処理できるか。

主な発見

• 提案手法（GRU trajopt）は、GRUベースラインと比較して1000ms予測時における全身運動の平均予測誤差を42％削減し、1.19mmの誤差（ベースラインは1.80mm）を達成した。
• 1000ms予測時間軸において、提案手法の手首誤差は0.00mmにまで低下し、目標位置への完全な収束を達成し、線形補間およびGRUベースラインを上回った。
• 875msでの手首誤差は、提案手法で1.15mm、GRUベースラインで1.68mmであり、長期的な精度が向上していることが示された。
• 全時間ステップで低誤差を維持しており、500msでの手首誤差はGRUベースライン（1.13mm）と比較して25％低減（0.87mm）された。
• 軌道最適化の導入により、右手の目標位置のみを入力とした場合でも、予測品質が顕著に向上し、人間のダイナミクスの暗黙的モデリングが有効に機能していることが示された。
• 異なる高さの物体を対象とした25の異なる到達運動を含む5分間のテストセットにおいて、多様な到達タスクにわたって良好な一般化性能を示した。