[논문 리뷰] Towards Safe Reinforcement Learning with a Safety Editor Policy

Haonan Yu, Wei Xu외 1명|arXiv (Cornell University)|2022. 01. 28.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

SEditor는 안전 강화학습을 위한 이중 정책 프레임워크를 제안한다. 여기서 유틸리티 최적화 정책이 행동을 제안하고, 안전 편집 정책이 이를 수정하여 제약 위반을 최소화한다. 이는 2,000단계당 약 1회 이하의 제약 위반률을 달성하며, 14개의 안전 강화학습 벤치마크에서 최신 기준 성능을 확보한다.

ABSTRACT

We consider the safe reinforcement learning (RL) problem of maximizing utility with extremely low constraint violation rates. Assuming no prior knowledge or pre-training of the environment safety model given a task, an agent has to learn, via exploration, which states and actions are safe. A popular approach in this line of research is to combine a model-free RL algorithm with the Lagrangian method to adjust the weight of the constraint reward relative to the utility reward dynamically. It relies on a single policy to handle the conflict between utility and constraint rewards, which is often challenging. We present SEditor, a two-policy approach that learns a safety editor policy transforming potentially unsafe actions proposed by a utility maximizer policy into safe ones. The safety editor is trained to maximize the constraint reward while minimizing a hinge loss of the utility state-action values before and after an action is edited. SEditor extends existing safety layer designs that assume simplified safety models, to general safe RL scenarios where the safety model can in theory be arbitrarily complex. As a first-order method, it is easy to implement and efficient for both inference and training. On 12 Safety Gym tasks and 2 safe racing tasks, SEditor obtains much a higher overall safety-weighted-utility (SWU) score than the baselines, and demonstrates outstanding utility performance with constraint violation rates as low as once per 2k time steps, even in obstacle-dense environments. On some tasks, this low violation rate is up to 200 times lower than that of an unconstrained RL method with similar utility performance. Code is available at https://github.com/hnyu/seditor.

연구 동기 및 목표

• 사전 안전 지식나 사전 훈련이 없는 환경에서의 안전 강화학습을 해결하기 위해.
• 제약 위반률을 2,000단계당 약 1회 수준으로 극도로 낮추되, 오라클 안전 모델에 의존하지 않고서도 이를 달성하기 위해.
• 이중 정책 아키텍처를 통해 유틸리티 최적화와 안전 보장의 분리 및 효율적인 협동 학습을 가능하게 하기 위해.
• 일阶 최적화 기반으로 계산이 효율적인 방법을 개발하여 단순한 안전 모델을 넘어선 일반화 능력을 확보하기 위해.
• 엄격한 안전 제약 조건 하에서 시뮬레이션에서 실제 환경으로의 이행 및 실제 세계 적용을 가능하게 하기 위해.

제안 방법

• 유틸리티 최적화 정책(UM)은 확률적 정책 기울기 하강법을 사용하여 유틸리티 보상을 최대화하도록 훈련된다.
• 안전 편집 정책(SE)은 행동 편집 이전과 이후의 유틸리티 상태-행동 가치 간 허프 손실을 최소화하면서 제약 보상도 최대화하도록 훈련된다.
• SE 정책은 현재 상태 s와 UM이 제안한 행동 â를 바탕으로 행동 조정 Δa를 출력하며, 최종 행동 a = h(s, â, Δa)를 구성한다.
• 샘플 효율성과 안정적인 최적화를 위해 경험 재생을 활용한 오프-폴리시 훈련을 사용한다.
• 유연한 유의미한 균형을 확보하기 위해 원시-이중 최적화 기법을 적용한다.
• 두 정책은 확률적 기울기 하강법을 통해 공동으로 훈련되어 하드 스위칭이나 복잡한 히وري스틱 없이 종단 간 학습이 가능하다.

실험 결과

연구 질문

• RQ1 이중 정책 프레임워크는 단일 정책 기반 안전 강화학습 방법에 비해 안전성과 유틸리티의 상호 보완적 조건에서 뛰어난 성능을 보일 수 있는가?
• RQ2 환경의 안전 모델에 대한 사전 지식 없이도 안전 편집 정책이 제약 위반을 효과적으로 줄일 수 있는가?
• RQ3 고장애물 밀도를 가진 다양한 복잡한 안전 강화학습 환경에서 이 방법은 어떻게 스케일링되는가?
• RQ4 이 방법은 최소한의 사전 안전 정보로도 실제 세계 적용 시나리오에 얼마나 잘 일반화되는가?
• RQ5 이 방법은 근본적으로 제로 수준의 제약 위반률을 달성하면서도 높은 유틸리티 성능을 유지할 수 있는가?

주요 결과

• SEditor는 12개의 Safety Gym 작업과 2개의 안전 레이싱 작업에서 네 가지 베이스라인보다 뚜렷이 높은 안전 가중 유틸리티(SWU) 점수를 확보했다.
• 이 방법은 고장애물 밀도 환경에서도 2,000단계당 약 1회 이하의 제약 위반률을 달성했다.
• 일부 작업에서는 유틸리티 성능가까운 제약이 없는 강화학습 방법 대비 위반률이 최대 200배 낮았다.
• 행동 편집에서 낮은 허프 손실을 통해 안전 편집 정책이 유틸리티 저하를 효과적으로 최소화하면서도 안전성을 확보했다.
• 랜덤 레이아웃을 가진 다양한 환경에서의 강력한 일반화 능력을 보이며, 안정적인 안전성 일반화를 시사했다.
• SEditor는 계산적으로 효율적이고 확장 가능하며, 일阶 최적화와 오프-폴리시 훈련을 활용해 빠른 수렴을 이룬다.