[論文レビュー] OptLayer - Practical Constrained Optimization for Deep Reinforcement Learning in the Real World

Tu-Hoa Pham, Giovanni De Magistris+1 more|arXiv (Cornell University)|Sep 22, 2017

Reinforcement Learning in Robotics参考文献 13被引用数 11

ひとこと要約

OptLayerは、安全でないニューラルネットワーク予測を妥当で安全なロボット行動に変換する微分可能で制約付き最適化層を導入し、現実世界における安全なディープ強化学習を可能にする。TRPOと統合することで、より高速かつ安全な学習が達成され、制約なしの学習と比較して必要となるエピソード数を最大38％削減しながら、シミュレーションおよび現実世界のロボット操作タスクにおいて衝突回避を保証する。

ABSTRACT

While deep reinforcement learning techniques have recently produced considerable achievements on many decision-making problems, their use in robotics has largely been limited to simulated worlds or restricted motions, since unconstrained trial-and-error interactions in the real world can have undesirable consequences for the robot or its environment. To overcome such limitations, we propose a novel reinforcement learning architecture, OptLayer, that takes as inputs possibly unsafe actions predicted by a neural network and outputs the closest actions that satisfy chosen constraints. While learning control policies often requires carefully crafted rewards and penalties while exploring the range of possible actions, OptLayer ensures that only safe actions are actually executed and unsafe predictions are penalized during training. We demonstrate the effectiveness of our approach on robot reaching tasks, both simulated and in the real world.

研究の動機と目的

• ロボット分野における現実世界のディープ強化学習における、安全でない探索および実行という重要な課題に対処すること。
• エキスパートのデモンストレーションや報酬の形状付けに依存せずに、明示的な安全制約のもとでニューラルネットワーク方策のエンドツーエンド学習を可能にすること。
• 安全でない予測を効果的に活用しながら、実行時にのみ安全な行動が生成されるようにすることで、学習を加速すること。
• 実際の産業用ロボット上で直接、複雑な3次元の到達および障害物回避方策を学習可能であることを実証すること。

提案手法

• ユーザー定義の制約を満たす近い妥当な行動に、制約なしのニューラルネットワーク行動を写像する微分可能最適化層であるOptLayerを導入する。
• 衝突回避やジョイント制限などの安全制約によって定義される妥当な集合へ行動を射影する制約付き最適化定式化を用いる。
• 2段階の訓練戦略を採用：まず、元の安全でない予測を用いて方策を更新し、次に制約付き行動を用いてそれを精錬することで、サンプル効率を向上させる。
• Trust-Region Policy Optimization (TRPO) と OptLayer を統合し、制約付き層を介したエンドツーエンドのバックプロパゲーションを可能にする。
• 訓練中に安全でない予測に対してペナルティを与える報酬戦略を実装するとともに、推論時には常に安全な行動が実行されることを保証する。
• 静的および動的障害物を伴う3次元ロボット到達タスクに本手法を適用し、シミュレーションおよび実際の産業用アームでも検証する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で制約付きの最適化層をディープ強化学習に効果的に統合することで、現実世界のロボット分野における安全な行動実行を確保できるか？
• RQ2 安全制約付き強化学習において、OptLayerは制約なしまたはペナルティベースのアプローチと比較して、サンプル効率および学習速度をどのように向上させるか？
• RQ3 OptLayerで学習した方策は、再トレーニングなしに、移動する障害物やターゲットといった予期しない環境変化にどの程度一般化できるか？
• RQ4 OptLayerは、エキスパートのデモンストレーションや広範なシミュレーションに依存せずに、現実世界で制御方策をスクラッチからエンドツーエンドで学習可能か？

主な発見

• OptLayerは、制約なしのポリシー学習と比較して、平均リターンが700に達するまでのエピソード数を38％削減した（3250エピソード対5350エピソード）。
• 本手法は、産業用アーム上で3次元到達と障害物回避を実現し、6時間にわたる連続的な訓練中においても安全を維持した。
• CPC（Constrained Policy Correction）で学習した制約付きポリシーは、再トレーニングなしに、移動するターゲットや障害物といった予期しないシナリオにも一般化した。
• 1ステップあたり4 msの推論オーバーヘッドがあるものの、より効率的な探索と故障率の低下により、全体の学習が高速化された。
• 静的および動的障害物（風船やケーキを含む）を効果的に回避し、環境変化に対して高い耐性を示した。
• OptLayerは、物理的相互作用や力制御を要するタスクでさえ、安全で自律的な位置制御ポリシーの学習を現実世界で可能にした。