[논문 리뷰] Safe Exploration in Continuous Action Spaces

Gal Dalal, Krishnamurthy Dvijotham외 4명|arXiv (Cornell University)|2018. 01. 26.

Reinforcement Learning in Robotics참고 문헌 16인용 수 274

한 줄 요약

상태별 안전 계층을 도입하여 학습 중에 각 상태의 안전 제약을 만족하도록 행동을 분석적으로 수정하고, 선형화된 단일 단계 안전 모델을 사용하여 연속 행동 공간에서 제로-위반 탐색을 가능하게 합니다.

ABSTRACT

We address the problem of deploying a reinforcement learning (RL) agent on a physical system such as a datacenter cooling unit or robot, where critical constraints must never be violated. We show how to exploit the typically smooth dynamics of these systems and enable RL algorithms to never violate constraints during learning. Our technique is to directly add to the policy a safety layer that analytically solves an action correction formulation per each state. The novelty of obtaining an elegant closed-form solution is attained due to a linearized model, learned on past trajectories consisting of arbitrary actions. This is to mimic the real-world circumstances where data logs were generated with a behavior policy that is implausible to describe mathematically; such cases render the known safety-aware off-policy methods inapplicable. We demonstrate the efficacy of our approach on new representative physics-based environments, and prevail where reward shaping fails by maintaining zero constraint violations.

연구 동기 및 목표

• 강화학습 훈련 중 물리 시스템에서 상태별 제약 위반을 제로로 보장합니다.
• 로그된 데이터로부터 단일 단계 역학을 활용해 선형 안전 모델을 사전 학습합니다.
• 정의가능한 안전 계층을 임의의 연속 제어 정책에 부착하여 안전을 강제합니다.
• 안전 인식 학습이 보상 설정보다 수렴 및 성능을 향상시킬 수 있음을 입증합니다.

제안 방법

• 랜덤 동작 로그로부터의 단일 단계 전이에서의 한정된 선형 안전 모델 c̄i(s′) ≈ c̄i(s) + g(s;w_i)ᵀ a 를 학습합니다(식 2).
• (s,a,s′) 튜플의 데이터 세트 D에서 g(s;w_i)를 예측 신호 변화에 대해 선학습합니다.
• 정책 위에 안전 계층을 부착하여 제약적 사영을 해결합니다: c̄i(s) + g(s;w_i)ᵀ a ≤ Ci 를 만족하도록 ||a−μθ(s)||² 를 최소화합니다(식 4).
• 단일 활성 제약 가정 하에서 닫힌 형태 해를 얻습니다: a* = μθ(s) − λ*i* g(s;w_i*) (식 5–6).
• 이 계층을 Deep Deterministic Policy Gradient(DDPG) 또는 어떤 연속 제어 알고리즘과 함께 사용합니다; 이 계층은 미분 가능하고 경량입니다.

실험 결과

연구 질문

• RQ1 연속 행동 공간에서 학습 중에 알려진 행동 정책을 가정하지 않고도 상태별 안전 제약을 보장할 수 있습니까?
• RQ2 랜덤 로그에서 학습된 선형 단일 단계 안전 모델이 닫힌 형태의 행동 수정으로 안전을 강제하는 데 충분합니까?
• RQ3 안전 계층이 있는 학습과 보상 설정보다 안전 보장 및 수렴 효율성 측면에서 어떻게 비교되나요?
• RQ4 다른 안전 신호와 제약을 가진 여러 물리 기반 도메인에 접근법이 적용 가능합니까?
• RQ5 단일 활성 제약 가정이 실무에서 성능과 안전에 미치는 영향은 무엇입니까?

주요 결과

• 안전 계층은 모든 시드와 작업에서 제로 제약 위반을 강제합니다.
• 안전 계층이 없는 학습 및 보상 설정보다 수렴 속도를 가속화합니다.
• 안전 계층과 함께 DDPG는 안전을 유지하면서 테스트 도메인에서 더 높은 할인 보상을 달성합니다.
• 보상 설정보다는 제로 위반을 보장하지 못하고 수렴을 방해할 수 있으며, 반면 안전 계층은 안전을 보장하고 학습 속도를 개선합니다.
• 본 방법은 로봇에 구애되지 않으며 특정 RL 방법에 국한되지 않고 모든 연속 제어 알고리즘에 추가될 수 있습니다.