[論文レビュー] Value constrained model-free continuous control

Steven Bohez, Abbas Abdolmaleki+4 more|arXiv (Cornell University)|Feb 12, 2019

Reinforcement Learning in Robotics参考文献 20被引用数 30

ひとこと要約

本論文は、連続制御におけるタスク報酬と補助的コスト（例：制御効率やエネルギー消費）の自動的バランスを、ラグランジュ緩和を用いた制約ベースの強化学習手法として提案する。状態に依存するラグランジュ乗数をポリシーおよび価値関数と共に学習することで、制約がリアルタイムで満たされるようになり、手動によるハイパーパrameterチューニングを不要とし、滑らかで効率的なポリシーを実現する。この手法は、四足歩行ロボットのシミュレーションおよび実機タスク、視界制約付きの実ロボットアームの到達タスクなど、複雑な制御課題においても成功裏に実証された。

ABSTRACT

The naive application of Reinforcement Learning algorithms to continuous control problems -- such as locomotion and manipulation -- often results in policies which rely on high-amplitude, high-frequency control signals, known colloquially as bang-bang control. Although such solutions may indeed maximize task reward, they can be unsuitable for real world systems. Bang-bang control may lead to increased wear and tear or energy consumption, and tends to excite undesired second-order dynamics. To counteract this issue, multi-objective optimization can be used to simultaneously optimize both the reward and some auxiliary cost that discourages undesired (e.g. high-amplitude) control. In principle, such an approach can yield the sought after, smooth, control policies. It can, however, be hard to find the correct trade-off between cost and return that results in the desired behavior. In this paper we propose a new constraint-based reinforcement learning approach that ensures task success while minimizing one or more auxiliary costs (such as control effort). We employ Lagrangian relaxation to learn both (a) the parameters of a control policy that satisfies the desired constraints and (b) the Lagrangian multipliers for the optimization. Moreover, we demonstrate that we can satisfy constraints either in expectation or in a per-step fashion, and can even learn a single policy that is able to dynamically trade-off between return and cost. We demonstrate the efficacy of our approach using a number of continuous control benchmark tasks, a realistic, energy-optimized quadruped locomotion task, as well as a reaching task on a real robot arm.

研究の動機と目的

• モデルフリーな連続制御におけるバング・バング制御の問題に対処すること。これは、実世界のシステムには不適切な高周波数・高振幅の行動を引き起こす。
• 多目的強化学習における報酬対コスト比の手動チューニングの難しさを克服すること。これはしばしば膨大なハイパーパrameter探索を要する。
• 制約ベース最適化を用いて、タスクパフォーマンスと補助的コスト（例：エネルギー、制御効率）の間で自動的かつ適応的なトレードオフを実現すること。
• 動的で状態に依存するコストトレードオフおよびマルチタスク設定への一般化を図ることで、1つのポリシーが異なるパフォーマンス-コスト優先順位に適応可能とする。
• 本手法を、四足歩行ロボットの実際の動作を再現するような複雑なベンチマーク、および視界制約付きの実ロボットアームの到達タスクなど、非自明な制約を伴う複雑な実世界のロボットタスクに適用して検証すること。

提案手法

• 連続制御を制約付き最適化問題として定式化し、ラグランジュ緩和を用いて補助的コストを最小化すると同時に、最小限のタスク成功確率を保証する。
• ポリシーおよび価値関数と同時にエンドツーエンドに学習可能な、状態に依存するラグランジュ乗数を導入する。
• コーチモデルが各状態に対してリターン、コスト価値、およびラグランジュ乗数を同時に推定することで、ステップごとの制約強制が可能になる。
• 期待値ベースの制約とステップごとの（ポイントワイズな）制約の両方をサポートし、即時の行動に対するよりきめ細やかな制御を可能にする。
• タスクゴールに条件付けられたポリシーおよび乗数を用いることで、マルチタスク設定への一般化を図り、異なるタスクやコストレベル間での動的トレードオフを可能にする。
• 任意の価値ベースのモデルフリー強化学習アルゴリズムと互換性があり、複数の制約を同時に処理可能である。

実験結果

リサーチクエスチョン

• RQ1 報酬と制御コストのバランスを手動によるハイパーパrameterチューニングなしに、制約ベースの強化学習アプローチが自動的に実現できるか？
• RQ2 状態に依存するラグランジュ乗数は、期待値ベースの手法と比較して、よりきめ細やかでステップごとの制約強制を可能にするか？
• RQ3 本手法は、異なるタスクゴールやコストレベルにおいて、パフォーマンスとコストの動的トレードオフを実現する1つのポリシーを学習できるか？
• RQ4 本手法は、エネルギー効率の良い歩行や視界制約付きの操作など、実世界のロボット制御において、制御効率を低下させず、より頑健な制御を実現できるか？
• RQ5 視界を維持する必要があるような非自明な制約を伴う、複雑な実世界のロボットタスク（例：到達タスクにおける視界制約）に対しても、本手法は成功裏に適用可能か？

主な発見

• 本手法は、連続制御タスクにおける高周波数・高振幅の制御信号（バング・バング制御）を著しく低減し、滑らかで現実的であるとされるポリシーを実現した。
• シミュレーテッド四足歩行ロボットタスクにおいて、固定されたペナルティ係数を用いたベースラインと比較して、電気的消費電力が低く抑えられ、速度の過剰応答も減少した。
• 実機Sawyerアームでは、到達タスク中、ターゲットタグの視界を少なくとも95％の確率で維持するポリシーが学習され、制約がリアルタイムで満たされた。
• 学習プロセスは当初、視界制約の満たしに注力し、制約が満たされた後は、到達報酬の最適化にシフトした。これにより、効果的なマルチ目的バランスが実現された。
• 報酬対コストの重み比は学習中に動的に調整され、制約満たしの達成後には、ポリシーの80％が到達、20％が視界維持に注力した。
• 本手法は、制約の下限値を異なる値に設定しても一般化可能であり、1つのポリシーがさまざまなパフォーマンス-コストトレードオフに適応可能であることを示した。