[논문 리뷰] Is Bang-Bang Control All You Need? Solving Continuous Control with Bernoulli Policies

Tim Seyde, Igor Gilitschenski외 5명|arXiv (Cornell University)|2021. 11. 03.

Reinforcement Learning in Robotics인용 수 15

한 줄 요약

이 논문은 연속 제어 강화학습에서 보편적으로 사용되는 연속적 가우시안 정책 대신 베르누이 분포 정책(각 차원에서 최소 및 최대 행동 값만 출력)을 사용하는 번번 제어(bang-bang control)가 성능을 뛰어넘을 수 있는지 조사한다. 놀랍게도, 가우시안 정책 헤드를 베르누이 정책 헤드로 대체함으로써 여러 벤치마크에서 최신 기준 성능을 달성하였으며, 원래의 방법을 초월하는 결과를 보였다. 이는 이론적·실험적 분석을 통해 최적 제어 원리와 연결되며, 행동 보상을 적용할 경우 탐색과의 트레이드오프가 드러났다.

ABSTRACT

Reinforcement learning (RL) for continuous control typically employs distributions whose support covers the entire action space. In this work, we investigate the colloquially known phenomenon that trained agents often prefer actions at the boundaries of that space. We draw theoretical connections to the emergence of bang-bang behavior in optimal control, and provide extensive empirical evaluation across a variety of recent RL algorithms. We replace the normal Gaussian by a Bernoulli distribution that solely considers the extremes along each action dimension - a bang-bang controller. Surprisingly, this achieves state-of-the-art performance on several continuous control benchmarks - in contrast to robotic hardware, where energy and maintenance cost affect controller choices. Since exploration, learning,and the final solution are entangled in RL, we provide additional imitation learning experiments to reduce the impact of exploration on our analysis. Finally, we show that our observations generalize to environments that aim to model real-world challenges and evaluate factors to mitigate the emergence of bang-bang solutions. Our findings emphasize challenges for benchmarking continuous control algorithms, particularly in light of potential real-world applications.

연구 동기 및 목표

• 연속 정책 분포를 사용하는 상황에서도 번번 제어가 어떻게 발생하는지, 그리고 그 원인을 조사하는 것.
• 베르누이 분포를 통해 명시적으로 번번 제어 정책을 강제 적용할 경우, 기존의 가우시안 정책에 비해 우수하거나 경쟁 가능한 성능을 달성할 수 있는지 평가하는 것.
• 행동 보상을 도입하여 번번 제어 행동을 억제할 경우, 탐색 효율성과 정책의 매끄러움 사이의 트레이드오프를 분석하는 것.
• 실세계 제약 조건(예: 액추에이터 동역학, 에너지 비용 등)을 모델링하는 더 현실적인 환경으로 번번 제어 행동의 일반화 정도를 평가하는 것.
• 행동 복제(behavioral cloning) 실험을 통해 탐색, 학습, 최종 정책 성능의 영향을 분리하여 분석하는 것.

제안 방법

• 각 차원에서 최소 및 최대 행동 값만 출력하는 베르누이 분포 정책 헤드로 딥 강화학습 알고리즘의 표준 가우시안 정책 헤드를 대체한다.
• SAC, TD3, MPO를 포함한 다양한 온폴리시 및 오프폴리시 알고리즘에 대해 모델 프리 및 모델 기반 설정 모두에서 이 베르누이 정책 헤드를 적용한다.
• 기존의 가우시안 분포를 이산 분포로 대체할 경우 발생하는 경사 추정 문제를 피하기 위해, 이산 행동 공간 설정을 활용한 최대 사후 확률 정책 최적화(MPO)를 사용한다.
• 학습된 가우시안 에이전트의 정책을 연속적 및 이산(베르누이) 정책 헤드로 복제하기 위해 행동 복제 실험을 수행하여, 탐색의 영향을 고립시킨다.
• 행동 보상 도입을 통해 번번 제어 행동을 억제하고, 학습 동역학 및 최종 정책 성능에 미치는 영향을 평가한다.
• 표준 MuJoCo 벤치마크와 Real-World RL 스위트에서 성능을 평가하여, 실세계 제약 조건에 대한 강건성과 일반화 능력을 시험한다.

실험 결과

연구 질문

• RQ1 베르누이 분포를 통해 번번 제어 정책을 강제 적용할 경우, 연속 제어에서 표준 가우시안 정책에 비해 경쟁적 또는 우수한 성능을 달성할 수 있는가?
• RQ2 최적 제어 이론에서의 번번 제어와 딥 강화학습에서 연속 정책 파rameterization을 사용할 때 번번 제어가 어떻게 발생하는지 사이의 이론적 연결 고리는 무엇인가?
• RQ3 행동 보상이 가우시안 정책의 탐색 및 학습 효율성에 미치는 영향은 무엇이며, 어떤 트레이드오프를 유도하는가?
• RQ4 액추에이터 동역학 및 에너지 비용 등 실세계 제약 조건을 모델링하는 더 현실적인 환경으로 번번 제어 행동이 얼마나 일반화되는가?
• RQ5 행동 복제 실험을 통해 번번 솔루션의 발생 원리에서 탐색, 학습, 최종 성능의 역할을 분리 분석할 수 있는가?

주요 결과

• 최소 및 최대 행동 값만 출력하는 베르누이 분포 정책는 여러 연속 제어 벤치마크에서 최신 기준 성능을 달성하였으며, 몇몇 사례에서는 원래의 가우시안 정책 버전을 초월하는 성능을 보였다.
• 번번 제어 행동의 발생은 최소 시간 최적 제어 문제와 이론적으로 연결되며, 특정 조건 하에서는 번번 솔루션이 증명적으로 최적임을 보여준다.
• 번번 제어 행동을 억제하기 위해 설계된 행동 보상은 가우시안 정책의 탐색 능력을 심각하게 저해하여, 최적 학습이 이뤄지지 않고 최종 성능도 저하됨을 보였다.
• Real-World RL 스위트에서는 베르누이 정책가 현실적인 환경으로 잘 일반화되었으며, 제어 신호가 시스템 동역학에 의해 저역통과 필터링되면서 매끄럽게 작동함을 보였다.
• 행동 복제 실험 결과, 동일한 행동을 복제할 경우 이산적 베르누이 정책가 연속적 가우시안 정책을 따라하거나 초월하는 성능을 달성함을 확인하여, 관찰된 번번 행동이 탐색의 산물이 아니라는 것을 입증하였다.
• 결과적으로 연속 행동 공간이 고성능 제어를 위해 반드시 필요하다는 가정을 도전하며, R^N에서 2^N으로 정책 탐색 공간을 축소하는 것이 성능 손실 없이 유익할 수 있음을 시사한다.