[논문 리뷰] OmniSafe: An Infrastructure for Accelerating Safe Reinforcement Learning Research

Jiaming Ji, Jiayi Zhou외 8명|arXiv (Cornell University)|2023. 05. 16.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

OmniSafe은 안전한 RL 연구를 가속화하기 위해 다양한 안전 RL 알고리즘, 분산 학습 및 철저한 문서를 제공하는 모듈식 고성능 오픈 소스 프레임워크입니다.

ABSTRACT

AI systems empowered by reinforcement learning (RL) algorithms harbor the immense potential to catalyze societal advancement, yet their deployment is often impeded by significant safety concerns. Particularly in safety-critical applications, researchers have raised concerns about unintended harms or unsafe behaviors of unaligned RL agents. The philosophy of safe reinforcement learning (SafeRL) is to align RL agents with harmless intentions and safe behavioral patterns. In SafeRL, agents learn to develop optimal policies by receiving feedback from the environment, while also fulfilling the requirement of minimizing the risk of unintended harm or unsafe behavior. However, due to the intricate nature of SafeRL algorithm implementation, combining methodologies across various domains presents a formidable challenge. This had led to an absence of a cohesive and efficacious learning framework within the contemporary SafeRL research milieu. In this work, we introduce a foundational framework designed to expedite SafeRL research endeavors. Our comprehensive framework encompasses an array of algorithms spanning different RL domains and places heavy emphasis on safety elements. Our efforts are to make the SafeRL-related research process more streamlined and efficient, therefore facilitating further research in AI safety. Our project is released at: https://github.com/PKU-Alignment/omnisafe.

연구 동기 및 목표

• RL 배포의 안전성 문제를 다루기 위한 SafeRL에서 통합 OSS 프레임워크의 필요성을 제기한다.
• 온-정책(On-Policy), 오프-정책(Off-Policy), 모델 기반(Model-based), 오프라인(Offline) 범주 전반에 걸친 다양한 SafeRL 알고리즘을 지원하는 모듈식 인프라로 OmniSafe를 제시한다.
• 고성능 병렬 컴퓨팅 및 환경/에이전트 병렬성을 통해 SafeRL 실험을 가속화함을 입증한다.
• 광범위한 테스트와 문서를 통해 코드 신뢰성, 재현성 및 커뮤니티 확장을 보장한다.
• SafeRL 연구 도구와 방법의 표준화를 향한 향후 방향을 개요한다.

제안 방법

• Cmdp 및 환경 가변성을 다루기 위해 Adapter 및 Wrapper 구성요소를 사용한 모듈식 알고리즘 수준 추상을 통해 OmniSafe를 소개한다.
• 더 빠른 학습을 위해 환경 수준 비동기 병렬성과 에이전트 비동기 학습을 가능하게 하려면 torch.distributed를 활용한다.
• Safety-Gym 및 Mujoco-Velocity 환경에서 알고리즘 구현을 검증하기 위한 광범위한 테스트를 제공한다.
• 도입과 재현성을 용이하게 하기 위해 포괄적인 API 문서, 튜토리얼 및 개발자 가이드를 제공한다.
• 궤적이 생성되고, 전처리되며, 학습되고, 순환적 데이터 흐름(Cyclic dataflow) 프로세스를 통해 행동으로 변환되는 단일 데이터 흐름 프레임워크를 설명한다.

Figure 1 : The core features of OmniSafe include (a) Comprehensive API documentation with user guides, examples, and best practices for efficient learning, the documentation can be found in https://omnisafe.readthedocs.io ; (b) Streamlined algorithm training through single-file execution, simplifyin

실험 결과

연구 질문

• RQ1 단일 OSS 프레임워크에서 지원이 필요한 SafeRL 알고리즘과 패러다임은 무엇인가?
• RQ2 모듈식 어댑터와 래퍼가 교차 도메인 CMDP 및 환경 차이를 어떻게 조정하여 SafeRL 연구를 간소화할 수 있는가?
• RQ3 분산적이고 비동기적인 학습이 SafeRL 학습 속도와 안정성에 미치는 영향은 무엇인가?
• RQ4 OmniSafe는 SafeRL 실험 전반에서 신뢰성과 재현성을 어떻게 보장하는가?
• RQ5 OmniSafe가 SafeRL 도구의 커뮤니티 성장과 표준화를 어떻게 촉진할 수 있는가?

주요 결과

• OmniSafe는 On-Policy, Off-Policy, Offline, Model-based 범주에 걸친 수십 가지 SafeRL 알고리즘을 제공하는 매우 모듈식 프레임워크를 제공합니다.
• Adapter 및 Wrapper 설계는 교차 도메인 호환성을 가능하게 하고 새로운 환경이나 문제 패러다임을 통합할 때 엔지니어링 노력을 줄여줍니다.
• torch.distributed를 통한 분산 학습은 환경 수준의 비동기 병렬성과 에이전트 비동기 학습을 가능하게 하여 학습을 가속화하고 안정성을 향상시킵니다.
• Safety-Gym 및 Mujoco-Velocity 환경에서의 광범위한 테스트는 원래 논문의 결과와의 일관성을 보여주고 결과 재현성을 뒷받침합니다.
• 포괄적인 API 문서, 튜토리얼 및 개발자 가이드는 SafeRL 연구의 채택, 재현성 및 커뮤니티 성장을 촉진합니다.

Figure 2 : A high-level depiction of OmniSafe ’s distributed dataflow process. Each process periodically syncs weights and all-reduce gradients with other processes. Vectorized Environments first generate trajectories of the agent’s interactions with the environment. Second, the EnvWrapper monitors