[論文レビュー] Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning

Ayaka Kume, Eiichi Matsumoto+3 more|arXiv (Cornell University)|Oct 17, 2017

Reinforcement Learning in Robotics参考文献 30被引用数 9

ひとこと要約

本稿では、深層強化学習を用いて、複数の多様なロボット制御ポリシーを行動-パフォーマンスマップに事前に訓練・格納する、マップベースのマルチポリシー強化学習（MMPRL）を提案する。ベイズ最適化を用いて再訓練を伴わずに事前に学習済みポリシーから迅速に選択することで、MMPRLは環境の変化や身体的損傷に対しても迅速に回復可能であり、単一ポリシー手法に比べて多様な故障状況で優れた性能を発揮する。

ABSTRACT

In order for robots to perform mission-critical tasks, it is essential that they are able to quickly adapt to changes in their environment as well as to injuries and or other bodily changes. Deep reinforcement learning has been shown to be successful in training robot control policies for operation in complex environments. However, existing methods typically employ only a single policy. This can limit the adaptability since a large environmental modification might require a completely different behavior compared to the learning environment. To solve this problem, we propose Map-based Multi-Policy Reinforcement Learning (MMPRL), which aims to search and store multiple policies that encode different behavioral features while maximizing the expected reward in advance of the environment change. Thanks to these policies, which are stored into a multi-dimensional discrete map according to its behavioral feature, adaptation can be performed within reasonable time without retraining the robot. An appropriate pre-trained policy from the map can be recalled using Bayesian optimization. Our experiments show that MMPRL enables robots to quickly adapt to large changes without requiring any prior knowledge on the type of injuries that could occur. A highlight of the learned behaviors can be found here: https://youtu.be/QwInbilXNOE .

研究の動機と目的

• 環境的または身体的変化に直面するロボットにおける単一ポリシー深層強化学習の限界的な適応性を解消すること。
• 再訓練を伴わず、事前に学習済みポリシーを活用することで、予期しない障害や摂動に対しても迅速な適応を可能にすること。
• 外部支援が不可能で時間的にも制限のあるミッションクリティカルなロボットタスクにおける耐障害性を向上させること。
• 行動特徴に基づいてポリシーを多次元離散マップに格納し、適応時の効率的検索を可能にすること。
• 多ポリシー学習が、多様な故障状況や環境的変化において単一ポリシーDQNに比べて優れていることを実証すること。

提案手法

• MMPRLは、深層強化学習（DDPG）を用いて、それぞれが異なる行動特徴を有する複数の多様なポリシーを訓練する。
• ポリシーは、歩行タイプ、速度、安定性などの行動記述子によってインデックス付けされた多次元離散マップに格納される。
• 適応は、現在の状態に応じてマップを照会し、最適な事前学習済みポリシーを選択するベイズ最適化（M-BOA）を用いて達成される。
• 本手法は、ポリシーの多様性を保証し、トレーニング中の重複を回避するため、行動-パフォーマンスマップを採用する。
• マップ作成時の探索を改善するための今後の最適化として、好奇心駆動の報酬項を提案する。
• オンライン再訓練にかかるコストを回避するため、事前に計算されたポリシー・ライブラリから選択することで、リアルタイムでの適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 単一ポリシーDRLと比較して、多ポリシーアプローチは、予期しない環境変化や身体的損傷に対するロボットの適応性を向上させることができるか？
• RQ2 事前学習済みポリシー・ライブラリは、再訓練を伴わず、どの程度迅速に適応を可能にするか？
• RQ3 マップ内のポリシーの多様性は、さまざまな故障モードにおいて、どの程度パフォーマンスを向上させるか？
• RQ4 時間制約下でも、ベイズ最適化はマップ内の最適ポリシーを効果的に選択できるか？
• RQ5 MMPRLは、標準的なDDPGおよびMAP-Elitesと比較して、高次元のポリシーを学習する際にどの程度優れているか？

主な発見

• 脚関節が無効化された状態で、MMPRLは平均3.5回の試行（ハードウェア上では11.4秒）で適応を達成し、100回の実行で90％以上の成功率を達成した。
• より複雑な故障（例：複数の指先の喪失、T3, T25）に対しては、平均27.3回の試行（90.1秒）を要したが、これは実世界での展開においても許容可能な範囲であった。
• 行動記述子に含まれていなかったにもかかわらず、遅延観測（D）や傾斜地（S）といった予期しない変化に対しても、MMPRLは正常に適応した。
• テストケースの80％において、適応後、MMPRLは単一のDDPGポリシーを上回った。特に、より高い段差を登るような困難な状況で顕著であった。
• 単純な状況（T3）ではρ=0.2で最良のポリシー選択が達成されたが、試行回数が厳しく制限された状況（5～10回）ではρ=0.4がより効果的であり、適応プロセスのチューニングが可能であることが示された。
• 一部の単一DDPGポリシーは通常状態ではMMPRLの個々のポリシーを上回ったが、他の状況では失敗したため、MMPRLのマルチポリシー戦略の優位性が裏付けられた。