[論文レビュー] Anticipating many futures: Online human motion prediction and synthesis for human-robot collaboration

Judith Bütepage, Hedvig Kjellström+1 more|arXiv (Cornell University)|Feb 27, 2017

Human Pose and Action Recognition参考文献 17被引用数 19

ひとこと要約

本稿では、RGB-Dデータを用いたオンラインでの人間の運動予測および合成のための条件付き変分オートエンコーダ（CVAE）を提案する。このモデルにより、1660 ms先までの複数の妥当な未来の運動軌道を生成することで、予測可能な人間-ロボット協調作業が可能になる。モデルは、読みやすく予測可能な運動がクラスタ化される、分離された低次元の潜在空間を学習し、ターゲット固有の訓練データが不要であるにもかかわらず、時間の経過とともに予測精度が向上する。

ABSTRACT

Fluent and safe interactions of humans and robots require both partners to anticipate the others' actions. A common approach to human intention inference is to model specific trajectories towards known goals with supervised classifiers. However, these approaches do not take possible future movements into account nor do they make use of kinematic cues, such as legible and predictable motion. The bottleneck of these methods is the lack of an accurate model of general human motion. In this work, we present a conditional variational autoencoder that is trained to predict a window of future human motion given a window of past frames. Using skeletal data obtained from RGB depth images, we show how this unsupervised approach can be used for online motion prediction for up to 1660 ms. Additionally, we demonstrate online target prediction within the first 300-500 ms after motion onset without the use of target specific training data. The advantage of our probabilistic approach is the possibility to draw samples of possible future motions. Finally, we investigate how movements and kinematic cues are represented on the learned low dimensional manifold.

研究の動機と目的

• ロボットが安全かつ滑らかなかい離作業を実現するため、リアルタイムで人間の運動を予測すること。
• 分類ベースの軌道手法の限界を克服し、不確実性下での動的で非線形な運動依存関係をモデル化すること。
• ターゲット固有の訓練データを必要とせず、人間の運動を予測し、行動の目的を推定すること。
• 人間の運動の読みやすさと予測可能性を分離する低次元の潜在表現を学習すること。
• 未来の運動の確率的サンプリングが意図推定を向上させ、長期計画を支援することを実証すること。

提案手法

• 本モデルは、RGB-D画像から抽出した骨格シーケンスを用いて、過去の観測に基づき未来の運動を予測するための条件付き変分オートエンコーダ（CVAE）を訓練する。
• モデルは時系列エンコーダ・デコーダアーキテクチャを用いて、人間の運動データ内の逐次的依存関係を捉える。
• 潜在変数はアンモライズド推論により推定され、効率的なオンライン予測と不確実性推定が可能になる。
• 未来の運動は、潜在変数上の学習済み後方分布からのサンプリングによって生成される。
• 主成分分析（PCA）を潜在空間に適用し、読みやすさと予測可能性の分離を視覚化・分析する。
• ターゲット推定は、予測された運動シーケンスの終点を近傍探索法を用いて分類することで実行される。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、観測された運動データからリアルタイムで複数の妥当な未来の人間の運動軌道を予測できるか？
• RQ2 ターゲット固有の訓練データを用いずに、本モデルは到達運動のターゲットをどれほど正確に推定できるか？
• RQ3 CVAEの学習済み潜在空間は、読みやすさと予測可能な運動パターンを分離しているか？
• RQ4 読みやすさの運動的手がかりは、運動開始後の初期段階で、ターゲット予測性能をどの程度向上させるか？
• RQ5 モデルの不確実性推定と複数の未来のサンプリングは、人間-ロボット協調における予測可能な意思決定をどの程度向上させるか？

主な発見

• CVAEは、1660 ms先までの高精度な人間の運動予測を実現し、HRIにおける長期計画を可能にする。
• 読みやすさのある運動（ターゲット2）では、運動開始後200 msでターゲット推定精度が100%に達し、予測可能な運動では800 msで97.02%に達する。
• 読みやすさのある運動軌道は、特に自然な到達動作において、学習済み潜在空間に一貫してクラスタ化されているが、不自然な運動（例：左方向への到達）は重複した表現を示す。
• 運動開始後200 msでも、ターゲット2への読みやすさのある運動では100%の分類精度を達成しており、早期の意図認識を示している。
• 予測可能性のある運動軌道は、読みやすさのある運動よりも潜在空間でより明確に分離されているため、予測可能性の方が読みやすさよりもより強くエンコードされていると考えられる。
• 訓練データに不自然な運動が含まれていないことが、不自然な読みやすさのある運動の分離が不十分になる要因であると考えられ、多様な訓練データの必要性が示唆される。