[論文レビュー] Learning Contracting Vector Fields For Stable Imitation Learning

Vikas Sindhwani, Stephen Tu+1 more|arXiv (Cornell University)|Apr 13, 2018

Robot Manipulation and Learning参考文献 21被引用数 15

ひとこと要約

本論文は、ベクトル値再生核ヒルバート空間（RKHS）上での凸最適化により段階的安定性を強制することで、示された軌道から安定で滑らかな力学系を学習する非パrametricフレームワークであるコントラクティング・ベクトル場（CVF）を提案する。この手法は行列値カーネルを用いて所望の均衡点で正確に消失するようにし、局所的収縮性と曲率を制御し、筆圧の再現、手書きの運動再現といった模倣学習タスクにおいて、DMPs、SEDS、CLFDMを凌駕する軌道精度と多様な初期条件における安定性を達成する。

ABSTRACT

We propose a new non-parametric framework for learning incrementally stable dynamical systems x' = f(x) from a set of sampled trajectories. We construct a rich family of smooth vector fields induced by certain classes of matrix-valued kernels, whose equilibria are placed exactly at a desired set of locations and whose local contraction and curvature properties at various points can be explicitly controlled using convex optimization. With curl-free kernels, our framework may also be viewed as a mechanism to learn potential fields and gradient flows. We develop large-scale techniques using randomized kernel approximations in this context. We demonstrate our approach, called contracting vector fields (CVF), on imitation learning tasks involving complex point-to-point human handwriting motions.

研究の動機と目的

• 模倣学習における限られた示唆的軌道から、安定で一般化可能な力学系の学習フレームワークを開発すること。
• ベクトル場のヤコビアンを負定値に制約することで段階的安定性を強制し、多様な初期条件からの収束を保証すること。
• 所望の均衡点で正確に消失するように設計された行列値カーネルを用いて、滑らかなベクトル場の豊富な族を構築すること。
• ランダム化されたカーネル近似を用いてスケーラブルな学習を実現しながら、安定性と収束保証を維持すること。
• DMPs、SEDS、CLFDMといった既存手法を軌道精度、安定性、摂動に対する耐性の面で上回ること。

提案手法

• ベクトル値RKHS上での正則化最適化問題を定式化し、軌道誤差を最小化すると同時に、ベクトル場のヤコビアンに対する収縮制約を強制する。
• 行列値カーネルを用いて、凸最適化による局所的収縮性と曲率の明示的制御が可能な滑らかなベクトル場を生成する。
• 特定の点で関数が正確に消失するように、その点で消失する関数の部分空間に射影することで、ベクトル場が所望の均衡点で正確に消失することを保証する。
• スケーラビリティを確保するため、カurl-freeおよびガウス可分カーネルを用いたランダム化カーネル近似を採用し、計算コストを低減しながら安定性を維持する。
• 最適化はSCSソルバを用い、プライマル・デュアル内点法により実行され、双対ギャップが10^-6から10^-4の範囲に収束する。
• curl-freeカーネルを用いる場合、得られるベクトル場は学習されたポテンシャル場上の勾配フローとして解釈可能となり、エネルギーベースモデリングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 少数の示唆的軌道から、多様な初期条件からの収束を保証する安定で滑らかな力学系を学習できる非パrametricフレームワークは存在するか？
• RQ2 凸最適化を用いて、ベクトル場の局所的収縮性と曲率特性を明示的に制御する方法は何か？
• RQ3 ランダム化されたカーネル近似は、高次元の模倣学習タスクにおいて安定性と性能をどれほど維持できるか？
• RQ4 本手法は、DMPs、SEDS、CLFDMといった既存手法と比較して、複数の運動パターンにおいて安定性と精度で優れているか？
• RQ5 本フレームワークは、ロボットシステムにおける動的障害物回避やセンシングモジュールとの統合をサポートできるように拡張可能か？

主な発見

• S字型データセットでは、CVF-CFはテスト軌道誤差5.82、DTWD 17767.83を達成し、64の初期条件すべてにおいてDMPsやSEDSを上回る安定性を示した。
• G字型データセットでは、CVF-GSはテスト軌道誤差4.10、DTWD 10009.24を達成し、グリッド初期条件の100%がゴールに到達した。
• CVF手法は優れた耐性を示し、全データセットで64の初期条件のうちたった1つしか収束に失敗しなかったが、SEDS や CLFDM ではより高い失敗率を示した。
• CVFの学習時間は他の手法よりわずかに長かったが、実用的であり、200の特徴量に対してSCSソルバが25秒未満で収束した。
• 本手法は特徴量数に対して線形にスケーリングされ、次元数に対しては超線形にスケーリングされ、高次元系への適用可能性が裏付けられた。
• 全4つのデータセットにおいて、CVFは平均DTWDが最低であり、摂動下でも優れた一般化性能と安定性を示した。