[論文レビュー] Model-based Constrained Reinforcement Learning using Generalized Control Barrier Function

Haitong Ma, Jianyu Chen+5 more|arXiv (Cornell University)|Mar 2, 2021

Vehicle emissions and performance被引用数 8

ひとこと要約

本稿では、一般化制御バリア関数（GCBF）を用いたモデルベースの制約付き強化学習手法を提案する。予測されたモデル軌道を用いて制約境界に近づく行動をペナルティ化することで、学習中に安全制約に違反することなく安全な方策最適化を可能にし、ベースライン手法と比較して制約違反が最大73.83%減少し、収束が3.36倍速くなった。

ABSTRACT

Model information can be used to predict future trajectories, so it has huge potential to avoid dangerous region when implementing reinforcement learning (RL) on real-world tasks, like autonomous driving. However, existing studies mostly use model-free constrained RL, which causes inevitable constraint violations. This paper proposes a model-based feasibility enhancement technique of constrained RL, which enhances the feasibility of policy using generalized control barrier function (GCBF) defined on the distance to constraint boundary. By using the model information, the policy can be optimized safely without violating actual safety constraints, and the sample efficiency is increased. The major difficulty of infeasibility in solving the constrained policy gradient is handled by an adaptive coefficient mechanism. We evaluate the proposed method in both simulations and real vehicle experiments in a complex autonomous driving collision avoidance task. The proposed method achieves up to four times fewer constraint violations and converges 3.36 times faster than baseline constrained RL approaches.

研究の動機と目的

• 探索中に制約違反が避けられないモデルフリー制約付き強化学習における固有の安全リスクに対処すること。
• 予測精度の低下とサンプリングコストの増加を引き起こす長時間スパンのロールアウトに依存しないことで、制約付き強化学習におけるサンプル効率を向上させること。
• 予測ダイナミクスを用いて制約境界への傾向をペナルティ化することで、各ロールアウトステップで制約を強制するのではなく、安全を確保するモデルベースのアプローチを開発すること。
• 方策最適化が非可解になった際に制約の満たしを向上させるための適応的係数メカニズムを導入すること。
• 衝突回避を目的としたシミュレーションおよび実世界の自律走行車両実験を通じて、手法の有効性を検証すること。

提案手法

• 本手法は、各時刻で制約を強制するのではなく、制約境界までの距離の変化率をペナルティ化する一般化制御バリア関数（GCBF）を採用する。
• 短い時間スパン（1〜2ステップ）のモデル予測軌道を用いて、システムの将来状態を推定し、GCBFペナルティを計算する。
• 近似ラグランジュ法を用いて制約付き方策勾配を計算し、GCBFペナルティをアクター更新に統合することで、実行可能性を維持する。
• 最適化が非可解になった際に収束を改善できるよう、GCBFペナルティ強度を動的に調整する適応的保守性係数を導入する。
• モデルベース予測とバリア関数制約を組み合わせることで、学習中に制約違反を回避しつつ、高いサンプル効率を維持する。
• 実世界の自律走行車両プラットフォーム上で、ニューラルネットワークベースのコントローラとプランナを併用した並列オンボードアーキテクチャに実装されている。

実験結果

リサーチクエスチョン

• RQ1 長時間スパンのロールアウトを必要とせず、モデルベースの予測を用いて制約付き強化学習における安全性を向上させることができるか？
• RQ2 制約境界までの距離に基づく一般化制御バリア関数（GCBF）が、方策学習中に制約違反を効果的に防止できるか？
• RQ3 短時間スパンのGCBF制約を用いることで、複数ステップの制約強制と比較してサンプル効率が向上するか？
• RQ4 適応的係数メカニズムにより、元の定式化が非可解になった場合の制約付き方策最適化の実行可能性が向上するか？
• RQ5 提案手法は、実世界の自律走行タスクにおいて優れた安全性と収束性能を達成できるか？

主な発見

• 提案手法は、ベースラインの制約付き強化学習手法と比較して、学習中の制約違反を最大73.83%削減した。
• ベースラインのモデルベース制約付き強化学習と比較して、収束が3.36倍速くなった。これは、サンプル効率の顕著な向上を示している。
• 実車両実験では、学習された方策が減速、加速、停止、経路逸脱といった多様な衝突回避行動を正常に実行した。
• 左折、直進、右折を含む9つの複雑な交通シナリオにおいて、周囲の車両配置が異なる状況でも、アルゴリズムは頑健な性能を示した。
• 理論的分析により、GCBF定式化は更新ごとのサンプリングステップ数を最小限に抑える必要があることが証明され、その効率性の優位性を裏付けた。
• 改善にもかかわらず、近似解法のため制約違反が依然として発生した。これは、増強ラグランジュ法などの手法を用いることでさらなる向上が可能であることを示唆している。