[論文レビュー] State-wise Constrained Policy Optimization

Weiye Zhao, Rui Chen+3 more|arXiv (Cornell University)|Jun 21, 2023

Reinforcement Learning in RoboticsComputer Science被引用数 3

ひとこと要約

本論文は、高次元のロボット制御における即時の（状態別に制限された）安全制約を強制する、強化学習のための新しい方策勾配法であるState-wise Constrained Policy Optimization（SCPO）を提案する。Maximum Markov Decision Process（MMDP）フレームワークを導入することで、SCPOは最悪事態の安全違反とパフォーマンス劣化を理論的に制限し、ニューラルネットワーク方策を用いた歩行制御および危険回避タスクにおいて、最先端の安全-パフォーマンストレードオフを達成する。

ABSTRACT

Reinforcement Learning (RL) algorithms have shown tremendous success in simulation environments, but their application to real-world problems faces significant challenges, with safety being a major concern. In particular, enforcing state-wise constraints is essential for many challenging tasks such as autonomous driving and robot manipulation. However, existing safe RL algorithms under the framework of Constrained Markov Decision Process (CMDP) do not consider state-wise constraints. To address this gap, we propose State-wise Constrained Policy Optimization (SCPO), the first general-purpose policy search algorithm for state-wise constrained reinforcement learning. SCPO provides guarantees for state-wise constraint satisfaction in expectation. In particular, we introduce the framework of Maximum Markov Decision Process, and prove that the worst-case safety violation is bounded under SCPO. We demonstrate the effectiveness of our approach on training neural network policies for extensive robot locomotion tasks, where the agent must satisfy a variety of state-wise safety constraints. Our results show that SCPO significantly outperforms existing methods and can handle state-wise constraints in high-dimensional robotics tasks.

研究の動機と目的

• 実世界の強化学習応用における安全保証の欠如、特に衝突回避などの即時の（状態別）制約を解決すること。
• 既知の環境モデルを必要とせず、期待値において状態別制約を満たす一般化された方策最適化アルゴリズムを開発すること。
• 訓練中における最悪事態の安全違反とパフォーマンス劣化の理論的境界を提供すること。
• 高次元制御タスクにおける厳密なリアルタイム安全制約下で、深層ニューラルネットワーク方策の有効な訓練を可能にすること。

提案手法

• 最大マルコフ決定過程（MMDP）フレームワークを導入し、方策間での最悪事態コストの蓄積をモデル化する。
• 2つの方策間の最大コストの差に理論的境界を導出することで、信頼領域方策最適化の原則を状態別制約に拡張する。
• パフォーマンス劣化を限定すると同時に、状態別コスト制約を満たす方策改善ステップを設計する。
• 訓練中に安全を維持する制約付き最適化手順を用いて、理論的に正当化された更新を近似する。
• 信頼領域に類似した更新を、最大制約違反に対するペナルティ項を加えることで実装し、保守的な方策更新を保証する。
• 報酬最大化と制約満足のバランスを取るために双対最適化アプローチを採用し、適応的コスト上限を用いる。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな設定下で、状態別制約下での方策学習において、最悪事態の安全違反とパフォーマンス劣化に理論的保証を提供できるか？
• RQ2 既存の信頼領域方策最適化フレームワークを、累積的または確率的制約ではなく、硬い即時の制約を満たすようにどのように拡張できるか？
• RQ3 状態別制約下で、最大コストと方策改善の理論的関係は何か？
• RQ4 高次元ロボット制御において、高いパフォーマンスと強い安全保証を両立する実用的アルゴリズムを設計できるか？
• RQ5 複雑なタスクにおける安全性、サンプル効率、最終パフォーマンスの観点から、本手法は既存の安全RLベースラインとどのように比較できるか？

主な発見

• ドローン-3DHazard-1環境では、SCPOが平均制約違反（ρc ≈ 0.0002）を最も低く抑え、TRPO-Lagrangian（0.0007）およびPCPO（0.0015）を著しく上回った。
• Ant-Hazard-8タスクでは、SCPOが非常に低い最大コスト（Mc ≈ 0.0327）を維持しながら高いリターン（Jr ≈ 2.5873）を達成し、CPO（Mc = 0.1330）およびPCPO（Mc = 0.1046）を上回った。
• Swimmer-Hazard-8タスクでは、SCPOが最高のリターン（Jr = 2.6317）と最小の制約違反（ρc = 0.0012）を達成し、TRPO（Jr = 2.6322、ρc = 0.0067）およびCPO（Jr = 2.6335、ρc = 0.0045）を上回った。
• SCPOは、Point-Hazard、Swimmer-Hazard、Drone-3DHazard、Ant-Hazard、Walker-Hazardの全テスト環境において、すべてのベースラインと比較して制約違反を一貫して低減した。
• 本手法は、数千のポリシーパラメータを持つ高次元制御タスクにおいても、ダイナミクスモデルの事前知識に依存せずに安全を維持する強靭性を示した。