[論文レビュー] A Probabilistic Representation for Dynamic Movement Primitives

Franziska Meier, Stefan Schaal|arXiv (Cornell University)|Dec 18, 2016

Robot Manipulation and Learning参考文献 15被引用数 19

ひとこと要約

本論文は、制御入力を伴う線形ダイナミカルシステムとしての動的移動素子（DMP）の確率的定式化を提案し、カルマンフィルタリングとスムージングによるオンライン推論を可能にした。この手法は不確実性に基づくゲインを通じてセンサフィードバックを自然に統合し、尤度の監視によるリアルタイムの軌道変更と障害検出を可能にし、220件のテストケースを用いた評価で100%の障害検出精度を達成した。

ABSTRACT

Dynamic Movement Primitives have successfully been used to realize imitation learning, trial-and-error learning, reinforce- ment learning, movement recognition and segmentation and control. Because of this they have become a popular represen- tation for motor primitives. In this work, we showcase how DMPs can be reformulated as a probabilistic linear dynamical system with control inputs. Through this probabilistic repre- sentation of DMPs, algorithms such as Kalman filtering and smoothing are directly applicable to perform inference on pro- prioceptive sensor measurements during execution. We show that inference in this probabilistic model automatically leads to a feedback term to online modulate the execution of a DMP. Furthermore, we show how inference allows us to measure the likelihood that we are successfully executing a given motion primitive. In this context, we show initial results of using the probabilistic model to detect execution failures on a simulated movement primitive dataset.

研究の動機と目的

• 不確実性の伝播とオンライン推論を可能にするDMPの確率的表現の開発。
• センサ測定値とカルマンフィルタリングを用いたDMP実行中のオンラインフィードバック変更の実現。
• 学習済みDMPモデル下での観測センサデータの尤度を監視することにより、実行障害を原理的かつ体系的に検出する手法の提供。
• 運動プリミティブに期待されるセンサ軌道を関連付けることで、DMPにセンサ記憶を統合する。
• 確率的DMPフレームワークが、頑健な運動実行と障害検出において有効であることを示す。

提案手法

• 強制項における位相依存のばらつきを有する確率的線形ダイナミカルシステムとしてDMPを再定式化する。
• 位置、速度、加速度を隠れ状態とし、強制項を位相の関数として確率的関数としてモデル化する状態空間表現を用いてDMPダイナミクスを記述する。
• ノイズのあるセンサ観測値に基づき、最も可能性の高い軌道を推定するためにカルマンフィルタリングとスムージングを適用し、自動的にフィードバック項を生成する。
• カルマンゲイン行列を用いて不確実性に基づきフィードバックをスケーリングし、望ましい軌道の適応的変更を保証する。
• 学習された位相依存の共分散を有する基底関数の重み付き組み合わせにより、DMPの非線形性を表現する。
• 観測センサデータの対数尤度を計算することで障害検出を実施；訓練時の最小尤度の2倍未満に低下した場合に障害と分類する。

実験結果

リサーチクエスチョン

• RQ1 DMPを確率的線形ダイナミカルシステムとして再定式化することで、不確実性を考慮した推論が可能になるか？
• RQ2 カルマンフィルタリングを用いて、恣意的な結合項を必要とせずにDMPにおけるオンラインフィードバック変更を実現できるか？
• RQ3 確率的DMPモデル下での観測センサデータの尤度を用いて実行障害を検出できるか？
• RQ4 確率的DMPフレームワークは、従来のDMPと比較して、摂動や逸脱の処理において優れているか？
• RQ5 尤度ベースの監視を用いて、人工的な実行ブロッキングを高い精度で検出できるか？

主な発見

• 確率的DMPの定式化により、カルマンフィルタリングを用いたオンライン軌道変更が可能となり、不確実性に基づき自然にフィードバックがスケーリングされる。
• 確率的DMPのフィードバック項はカルマンのイノベーションから導出されるため、タスク固有のゲイン調整の必要がなくなる。
• 尤度監視による障害検出は、220件の摂動付きテストケースをすべて障害と正しく特定し、非摂動実行では誤検出が2件にとどまった。
• 訓練デモの最小対数尤度をベースラインとして用い、その2倍未満に低下した場合に障害と分類する。
• 2次元の文字書きデータセット（22の運動プリミティブ、各プリミティブ10回のデモ）において、人工的ブロッキングの検出率が100%に達した。
• 確率的モデルは元のDMPダイナミクスを保持しつつ、原理的な不確実性処理とセンサフィードバック統合により、耐障害性を向上させた。