[論文レビュー] OmniSafe: An Infrastructure for Accelerating Safe Reinforcement Learning Research

Jiaming Ji, Jiayi Zhou+8 more|arXiv (Cornell University)|May 16, 2023

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

OmniSafe は、安全強化学習 SafeRL の研究を加速するために、幅広い安全な RL アルゴリズム、分散トレーニング、徹底したドキュメンテーションを提供する、モジュラーで高性能なオープンソースフレームワークです。

ABSTRACT

AI systems empowered by reinforcement learning (RL) algorithms harbor the immense potential to catalyze societal advancement, yet their deployment is often impeded by significant safety concerns. Particularly in safety-critical applications, researchers have raised concerns about unintended harms or unsafe behaviors of unaligned RL agents. The philosophy of safe reinforcement learning (SafeRL) is to align RL agents with harmless intentions and safe behavioral patterns. In SafeRL, agents learn to develop optimal policies by receiving feedback from the environment, while also fulfilling the requirement of minimizing the risk of unintended harm or unsafe behavior. However, due to the intricate nature of SafeRL algorithm implementation, combining methodologies across various domains presents a formidable challenge. This had led to an absence of a cohesive and efficacious learning framework within the contemporary SafeRL research milieu. In this work, we introduce a foundational framework designed to expedite SafeRL research endeavors. Our comprehensive framework encompasses an array of algorithms spanning different RL domains and places heavy emphasis on safety elements. Our efforts are to make the SafeRL-related research process more streamlined and efficient, therefore facilitating further research in AI safety. Our project is released at: https://github.com/PKU-Alignment/omnisafe.

研究の動機と目的

• SafeRL における展開時の安全性問題に対処するために、統一された OSS フレームワークの必要性を動機づける。
• On-Policy、Off-Policy、Model-based、Offline カテゴリにわたる多様な SafeRL アルゴリズムをサポートするモジュラーインフラストラクチャとして OmniSafe を提示する。
• SafeRL 実験を加速するための高性能な並列計算と環境/エージェント並列性を実証する。
• コードの信頼性、再現性、コミュニティの成長を広範なテストとドキュメントを通じて保証する。
• SafeRL の研究ツールと手法を標準化する方向性の将来像を概説する。

提案手法

• OmniSafe を、CMDPと環境の変動性に対応する Adapter および Wrapper コンポーネントを用いたモジュラーなアルゴリズムレベルの抽象化で紹介する。
• torch.distributed を活用して環境レベルの非同期 Parallelism とエージェントの非同期学習を可能にし、より速いトレーニングを実現する。
• Safety-Gym および Mujoco-Velocity 環境での extensive testing を提供し、アルゴリズム実装を検証する。
• 導入と再現性を促進するために、包括的な API ドキュメント、チュートリアル、開発者ガイドを提供する。
• 軌跡が生成・前処理・学習・行動へと循環的データフロー過程で変換される、統一されたデータフロー・フレームワークを説明する。）

Figure 1 : The core features of OmniSafe include (a) Comprehensive API documentation with user guides, examples, and best practices for efficient learning, the documentation can be found in https://omnisafe.readthedocs.io ; (b) Streamlined algorithm training through single-file execution, simplifyin

実験結果

リサーチクエスチョン

• RQ1 統一されたOSSフレームワーク内でサポートが必要な SafeRL アルゴリズムとパラダイムは何か？
• RQ2 モジュラーなアダプターとラッパーは、異なるドメインの CMDP と環境の違いをどのように調整して SafeRL 研究を合理化できるか？
• RQ3 分散型・非同期学習が SafeRL のトレーニング速度と安定性に与える影響は何か？
• RQ4 OmniSafe は SafeRL 実験全体の信頼性と再現性をどのように保証するか？
• RQ5 OmniSafe は SafeRL ツールのコミュニティ成長と標準化をどのように促進できるか？

主な発見

• OmniSafe は On-Policy、Off-Policy、Offline、および Model-based カテゴリにわたる多数の SafeRL アルゴリズムを備えた高度にモジュラーなフレームワークを提供します。
• Adapter および Wrapper の設計は、ドメインを跨ぐ互換性を可能にし、新しい環境や問題パラダイムを統合する際のエンジニアリング作業を削減します。
• torch.distributed による分散トレーニングは、環境レベルの非同期並列性とエージェントの非同期学習を可能にし、トレーニングを加速し安定性を向上させます。
• Safety-Gym および Mujoco-Velocity 環境での広範なテストは、元論文の結果との一貫性を示し、結果の再現性を支持します。
• 包括的な API ドキュメント、チュートリアル、開発者ガイドは、SafeRL 研究の導入・再現性・コミュニティ成長を促進します。

Figure 2 : A high-level depiction of OmniSafe ’s distributed dataflow process. Each process periodically syncs weights and all-reduce gradients with other processes. Vectorized Environments first generate trajectories of the agent’s interactions with the environment. Second, the EnvWrapper monitors