[논문 리뷰] Responsive Safety in Reinforcement Learning by PID Lagrangian Methods

Adam Stooke, Joshua Achiam외 1명|arXiv (Cornell University)|2020. 07. 08.

Advanced Control Systems Optimization참고 문헌 34인용 수 44

한 줄 요약

논문은 제한된 강화학습에서 Lagrange 승수에 PID 기반 업데이트를 도입하여 안전 제약 충족성과 딥 RL의 로버스트성을 향상시킵니다.

ABSTRACT

Lagrangian methods are widely used algorithms for constrained optimization problems, but their learning dynamics exhibit oscillations and overshoot which, when applied to safe reinforcement learning, leads to constraint-violating behavior during agent training. We address this shortcoming by proposing a novel Lagrange multiplier update method that utilizes derivatives of the constraint function. We take a controls perspective, wherein the traditional Lagrange multiplier update behaves as \emph{integral} control; our terms introduce \emph{proportional} and \emph{derivative} control, achieving favorable learning dynamics through damping and predictive measures. We apply our PID Lagrangian methods in deep RL, setting a new state of the art in Safety Gym, a safe RL benchmark. Lastly, we introduce a new method to ease controller tuning by providing invariance to the relative numerical scales of reward and cost. Our extensive experiments demonstrate improved performance and hyperparameter robustness, while our algorithms remain nearly as simple to derive and implement as the traditional Lagrangian approach.

연구 동기 및 목표

• 전통적인 Lagrangian 업데이트로 인해 제한된 RL에서 관찰되는 불안정성과 진동을 동기 부여합니다.
• 진동을 억제하고 반응성을 개선하기 위해 Lagrange 승수에 비례-적분-미분(Proportional-Integral-Derivative, PID) 업데이트를 제안합니다.
• 깊은 RL에 접근 방식을 적용하고 PPO와 통합하여 더 안전하고 로버스트한 학습을 달성합니다.
• 환경 간 하이퍼파라미터 튜닝의 용이성을 높이기 위한 보상-비용 스케일 불변성 메커니즘을 제공합니다.

제안 방법

• 제약 RL을 Lagrange 승수를 제어 입력으로 하는 동적 시스템으로 모델링합니다.
• 표준 적분 업데이트에 비례 및 미분 항을 추가하여 Lagrange 승수에 PID 업데이트를 도입합니다.
• 감쇠 개선 및 예측적 이익을 보이는 수정된 다이나믹스를 도출합니다.
• PID Lagrangian 방법을 PPO와 통합하여 Safety Gym 환경에서 Constraint-Controlled PPO (CPPO)를 만듭니다.
• 보상-비용 스케일 불변성 기술을 제안하여 보상과 비용의 상대적 스케일에 대해 컨트롤러 튜닝의 강건성을 높입니다.

실험 결과

연구 질문

• RQ1 PID 기반 Lagrange 승수 업데이트가 학습 중 비용 초과 및 제약 위반을 줄일 수 있나요?
• RQ2 PID-Lagrangian 방법이 안전 RL 벤치마크에서 하이퍼파라미터 강건성과 학습 효율성을 향상시키나요?
• RQ3 Safety Gym 과제에서 최첨단 딥 RL 알고리즘(PPO)과 결합했을 때 접근 방식의 성능은 어떠한가요?
• RQ4 보상-비용 스케일 불변성으로 성능 손실 없이 튜닝을 간소화할 수 있나요?

주요 결과

• PID 업데이트는 전통적인 적분만 Lagrangian 방법에 비해 비용 진동과 초과를 완화합니다.
• PI 제어(비제로 P 항)는 여러 Safety Gym 과제에서 제약 위반을 감소시키면서 보상을 유지합니다.
• 미분 제어는 예측적 감쇠를 제공하고 비용 초과를 방지하여 제약 경계에 접근하는 속도를 늦출 수 있습니다.
• PID 업데이트를 갖춘 Constraint-Controlled PPO는 Safety Gym 벤치마크에서 최첨단 성능을 달성합니다.
• 보상 스케일 불변성 기법은 하이퍼파라미터 튜닝을 용이하게 하고 환경 간 강건성을 향상시킵니다.