[論文レビュー] Preparing for the Unknown: Learning a Universal Policy with Online System Identification

Wenhao Yu, Jie Tan+2 more|arXiv (Cornell University)|Feb 8, 2017

Reinforcement Learning in Robotics参考文献 27被引用数 43

ひとこと要約

本稿では、未知の動的環境におけるロバストな強化学習を可能にするために、ユニバーサルポリシーとオンラインシステム同定を組み合わせた制御フレームワークUP-OSIを提案する。シミュレーションデータを用いて動的特性の変化に敏感なポリシーを学習し、リアルタイムでモデルパラメータを動的に推定することで、予測不可能な動的特性に対しても優れた性能を発揮し、訓練時とは異なる動的特性において、真のモデル知識を持つポリシーを上回る性能を示す。

ABSTRACT

We present a new method of learning control policies that successfully operate under unknown dynamic models. We create such policies by leveraging a large number of training examples that are generated using a physical simulator. Our system is made of two components: a Universal Policy (UP) and a function for Online System Identification (OSI). We describe our control policy as universal because it is trained over a wide array of dynamic models. These variations in the dynamic model may include differences in mass and inertia of the robots' components, variable friction coefficients, or unknown mass of an object to be manipulated. By training the Universal Policy with this variation, the control policy is prepared for a wider array of possible conditions when executed in an unknown environment. The second part of our system uses the recent state and action history of the system to predict the dynamics model parameters mu. The value of mu from the Online System Identification is then provided as input to the control policy (along with the system state). Together, UP-OSI is a robust control policy that can be used across a wide range of dynamic models, and that is also responsive to sudden changes in the environment. We have evaluated the performance of this system on a variety of tasks, including the problem of cart-pole swing-up, the double inverted pendulum, locomotion of a hopper, and block-throwing of a manipulator. UP-OSI is effective at these tasks across a wide range of dynamic models. Moreover, when tested with dynamic models outside of the training range, UP-OSI outperforms the Universal Policy alone, even when UP is given the actual value of the model dynamics. In addition to the benefits of creating more robust controllers, UP-OSI also holds out promise of narrowing the Reality Gap between simulated and real physical systems.

研究の動機と目的

• シミュレーションと現実世界のロボット制御の間のリアリティギャップを埋めるために、未知の動的モデルに一般化可能なポリシーを可能とすること。
• 現実世界でのデータ収集にかかるコストを減らすために、大規模な物理シミュレーションを用いたオフライン学習を活用すること。
• 質量、摩擦、物体の慣性モーメントなどの変化するか不明なシステムパラメータに、リアルタイムで適応する制御ポリシーを開発すること。
• 教師あり学習と強化学習のコンponentを分離することで、システム同定とポリシー学習を分離し、サンプル効率とロバスト性を向上させること。
• 訓練分布外の動的モデルパラメータに対しても一般化できることを示し、外挿能力を実証すること。

提案手法

• 深層強化学習を用いて、さまざまなシミュレーテッドな動的モデル上でユニバーサルポリシー（UP）を学習し、ポリシーが状態と動的モデルパラメータμを入力として受けるようにする。
• オンラインシステム同定（OSI）モジュールを実装し、最近の状態とアクションの履歴を用いてリアルタイムでμを推定する。このOSIは、シミュレーションデータ上で教師あり学習により訓練される。
• OSIが各タイムステップでμを予測し、その結果をポリシーに供給することで、UPとOSIを統合したフレームワーク（UP-OSI）を構築する。
• OSIに再帰的または順序付きモデルを用いて時系列の状態-アクション履歴を処理し、運動シーケンスから動的モデルを推定可能にする。
• 推定精度と推論速度のバランスを考慮し、限られたイテレーション数（例：5回）でOSIを訓練することで、リアルタイム適用性を確保する。
• 学習プロセスを分離する：UPは強化学習で、OSIはシミュレーテッドトラジェクトリ上で教師あり学習で訓練され、サンプル効率が向上する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションデータのみを用いて、1つの制御ポリシーを幅広い未知の動的モデルに一般化可能か？
• RQ2 状態-アクション履歴から、リアルタイムで動的モデルパラメータ（例：質量、摩擦）を正確に同定できるか？
• RQ3 ユニバーサルポリシーとオンラインシステム同定の組み合わせが、未知の動的領域において真のモデルパラメータが分かっているポリシーを上回るか？
• RQ4 訓練分布外の動的モデルパラメータに対しても一般化可能か？その場合、なぜベースラインを上回るのか？
• RQ5 UP-OSIは、現実世界でのファインチューニングを一切行わずに、シミュレーションと現実世界のロボット制御の間のリアリティギャップをどの程度縮小できるか？

主な発見

• UP-OSIは、訓練分布内では真のモデルパラメータが与えられたユニバーサルポリシー（UP-true）と同等の性能を達成しており、効果的なオンラインモデル推定を実現している。
• 訓練範囲外の動的領域では、UP-trueベースラインを著しく上回る性能を示しており、強力な一般化および外挿能力を示している。
• 摩擦係数の変化など、時間的に変化する動的特性を持つ環境でも、μの推定値を継続的に更新することで、ロバストで適応可能な制御を維持している。
• 4次元空間（例：カート・ポールシステム）におけるモデルパラメータ同定が成功しており、中程度の次元のパラメータ化に対しても実現可能性を示している。
• 分離設計（教師あり学習によるシステム同定、強化学習によるポリシー）により、サンプル効率が向上し、エンドツーエンド学習よりも高速な収束が達成されている。
• 動的パラメータ推定による行動の変更が可能であるため、UP-OSIは環境の変化に応じて制御戦略を柔軟に切り替えたり、融合させたりする適応的制御が可能である。