[論文レビュー] Is Bang-Bang Control All You Need? Solving Continuous Control with Bernoulli Policies

Tim Seyde, Igor Gilitschenski+5 more|arXiv (Cornell University)|Nov 3, 2021

Reinforcement Learning in Robotics被引用数 15

ひとこと要約

本論文は、連続的制御強化学習における従来の連続的ガウス方策とは対照的に、ベルヌーイ分布に従う方策（各次元で最小および最大の行動値のみを出力する）であるバン・バン制御が、なぜ性能を上回る可能性があるかを調査する。驚くべきことに、ガウス方策ヘッドをベルヌーイ方策ヘッドに置き換えることで、複数のベンチマークで最先端の性能を達成しており、元の手法をも凌駕する。理論的および実験的分析により、この行動は最適制御の原則と関連づけられ、行動ペナルティを用いる際の探索とのトレードオフが明らかになった。

ABSTRACT

Reinforcement learning (RL) for continuous control typically employs distributions whose support covers the entire action space. In this work, we investigate the colloquially known phenomenon that trained agents often prefer actions at the boundaries of that space. We draw theoretical connections to the emergence of bang-bang behavior in optimal control, and provide extensive empirical evaluation across a variety of recent RL algorithms. We replace the normal Gaussian by a Bernoulli distribution that solely considers the extremes along each action dimension - a bang-bang controller. Surprisingly, this achieves state-of-the-art performance on several continuous control benchmarks - in contrast to robotic hardware, where energy and maintenance cost affect controller choices. Since exploration, learning,and the final solution are entangled in RL, we provide additional imitation learning experiments to reduce the impact of exploration on our analysis. Finally, we show that our observations generalize to environments that aim to model real-world challenges and evaluate factors to mitigate the emergence of bang-bang solutions. Our findings emphasize challenges for benchmarking continuous control algorithms, particularly in light of potential real-world applications.

研究の動機と目的

• 連続的制御強化学習において、連続的方策分布が用いられているにもかかわらず、なぜバン・バン制御が出現するのかを解明すること。
• ベルヌーイ分布を用いてバン・バン方策を明示的に制御することにより、標準的なガウス方策と比較して優れたまたは競争力のある性能を達成できるかどうかを評価すること。
• バン・バン行動を抑制するための行動ペナルティを導入した際の、探索効率と方策の滑らかさのトレードオフを分析すること。
• バン・バン行動が、アクチュエータダイナミクスやエネルギーコストをモデル化するような現実世界の制約を考慮したより現実的な環境へ一般化する程度を評価すること。
• 行動変容学習（行動クラッシング）を用いた模倣学習実験を通じて、探索、学習、最終的な方策性能に及ぼす影響を分離すること。

提案手法

• 深層強化学習アルゴリズムにおける標準的なガウス方策ヘッドを、各次元で最小値および最大値の行動値のみを出力するベルヌーイ分布に従う方策ヘッドに置き換える。
• SAC、TD3、MPOを含む、オンポリシーおよびオフポリシーのアルゴリズムにわたり、モデルフリーおよびモデルベースの設定において、このベルヌーイ方策ヘッドを適用する。
• 勾配推定の問題がガウス分布から離散分布に置き換える際に一般的に生じるのを避けるために、離散的行動空間の定式化を用いた最大事後確率方策最適化（MPO）を用いる。
• 訓練済みのガウスエージェントの行動を、連続的および離散的（ベルヌーイ）方策ヘッドに抽出する模倣学習実験を実施し、探索の影響を分離する。
• バン・バン行動を抑制するための行動ペナルティを導入し、学習ダイナミクスおよび最終的な方策性能に与える影響を評価する。
• 標準的なMuJoCoベンチマークおよびReal-World RLスイートを用いて性能を評価し、現実世界の制約への頑健性と一般化能力をテストする。

実験結果

リサーチクエスチョン

• RQ1 ベルヌーイ分布によるバン・バン方策の強制は、連続的制御において標準的なガウス方策と比較して、競争的または優れた性能を達成するか？
• RQ2 最適制御におけるバン・バン制御と、連続的方策パrameterizationを用いた深層強化学習におけるバン・バン制御の間には、どのような理論的関連性があるか？
• RQ3 行動ペナルティがガウス方策における探索および学習効率に与える影響は何か？また、どのようなトレードオフを生じるか？
• RQ4 バン・バン行動は、アクチュエータダイナミクスやエネルギーコストを含む現実世界の制約をモデル化するより現実的な環境へどの程度一般化されるか？
• RQ5 模倣学習実験は、バン・バン解の出現における探索、学習、最終的性能の役割を分離するのに役立つか？

主な発見

• 極端な行動値のみを強制するベルヌーイ分布に従う方策は、複数の連続的制御ベンチマークで最先端の性能を達成しており、いくつかのケースでは元のガウス方策バージョンを上回っている。
• バン・バン行動の出現は、ある条件下で、最小時間最適制御問題と理論的に関連づけられており、その場合にバン・バン解が正当に最適であることが示されている。
• バン・バン行動を抑制する目的で設計された行動ペナルティは、ガウス方策における探索を著しく損なうことがあり、結果として最適でない学習と低下した最終的性能をもたらす。
• Real-World RLスイートにおいて、ベルヌーイ方策は現実的な環境へ良好に一般化しており、システムのダイナミクスが制御信号を平滑化するローパassフィルタとして機能する場合、極端な行動が効果的であることが示された。
• 行動クラッシング実験の結果、同じ行動が抽出された場合、離散的ベルヌーイ方策は連続的ガウス方策と同等またはそれ以上の性能を示すことができ、観察されたバン・バン行動が探索の副産物ではないことが示された。
• 連続的行動空間が高性能制御に不可欠であるという仮定に反し、R^N から 2^N への方策探索空間の縮小が、性能を犠牲にすることなく有益である可能性を示唆している。