[論文レビュー] Reinforcement Learning with Probabilistic Guarantees for Autonomous Driving

Maxime Bouton, Jesper Karlsson+4 more|arXiv (Cornell University)|Apr 15, 2019

Autonomous Vehicle Technology and Safety参考文献 19被引用数 31

ひとこと要約

本論文は、自律走行車両における線形時相論理（LTL）を用いた安全仕様の確率的保証を強制する強化学習フレームワークを提案する。モデルチェックによる事前計算により安全な行動を特定し、探索をその行動に制限することで、ユーザーが定めた信頼度で政策がLTL式を満たすことを保証する。この手法により、報酬設計の簡素化と同時に、訓練の安定性と安全性が著しく向上し、信号のない交差点における歩行者や車両が存在するシナリオで実証されている。

ABSTRACT

Designing reliable decision strategies for autonomous urban driving is challenging. Reinforcement learning (RL) has been used to automatically derive suitable behavior in uncertain environments, but it does not provide any guarantee on the performance of the resulting policy. We propose a generic approach to enforce probabilistic guarantees on an RL agent. An exploration strategy is derived prior to training that constrains the agent to choose among actions that satisfy a desired probabilistic specification expressed with linear temporal logic (LTL). Reducing the search space to policies satisfying the LTL formula helps training and simplifies reward design. This paper outlines a case study of an intersection scenario involving multiple traffic participants. The resulting policy outperforms a rule-based heuristic approach in terms of efficiency while exhibiting strong guarantees on safety.

研究の動機と目的

• 自律走行車両の強化学習における性能保証の欠如に対処すること。
• 線形時相論理（LTL）で表現された複雑な安全仕様を、証明可能に満たす政策の学習を可能にすること。
• 報酬形状と安全制約を分離することで、報酬関数設計を簡素化すること。
• 不確実でマルチエージェントの走行環境における訓練効率と政策の信頼性を向上させること。
• 特定の走行シナリオに限定されない、スケーラブルで汎用的なフレームワークを提供すること。

提案手法

• 自律走行車両の環境をマルコフ決定過程（MDP）としてモデル化する。
• モデルチェックを用いて、各状態で所定の確率で与えられたLTL仕様を満たす行動の集合を事前に同定する。
• 訓練中、強化学習エージェントの行動空間をモデルチェックが安全と判断した行動に制限する。
• 標準的な強化学習アルゴリズム（例：PPO）を制限された行動空間に適用し、累積報酬を最大化する。
• 無限時間ホライズンのモデルチェックを用いて、LTLにおける長期的時間的性質を扱う。
• モデルチェック段階で得た確率的保証を、最終的な訓練済政策に転送する。

実験結果

リサーチクエスチョン

• RQ1 自律走行車両の強化学習エージェントを、安全仕様に関する確率的保証を満たすように訓練できるか？
• RQ2 LTL準拠の行動に探索を制限することで、訓練の安定性と収束性にどのような影響を与えるか？
• RQ3 このアプローチは、複数の目的を持つ走行シナリオにおける報酬関数設計をどの程度簡素化できるか？
• RQ4 安全なRL政策の性能は、ルールベースと標準的なRLベースラインと比較して、安全性と効率性の観点でどの程度優れているか？
• RQ5 複数の相互作用するエージェントを含む複雑で不確実な環境へ、このフレームワークを一般化できるか？

主な発見

• 安全なRL政策は10,000回のシミュレーションにおいて衝突率0.00％を達成し、強力な安全性保証を示した。
• 安全なRL政策はルールベースのヒューリスティックを上回る効率性を示し、ゴール到達時間の平均が30.00秒対28.47秒であった。
• 標準的なRL政策はより高い効率性（平均22.16秒）を達成したが、衝突率が0.96％に達しており、安全性が著しく低いことが判明した。
• 安全なRLアプローチにより、報酬重みの調整だけでは到達不可能だった、安全効率パレートフロンティア上の新たな運用ポイントにアクセス可能となった。
• 安全RLの訓練プロセスは安定しており、訓練中にも衝突が観測されず、行動空間制約の有効性が裏付けられた。
• この手法により、モデルチェック段階で得た確率的保証が最終政策に正しく転送され、安全性の最小信頼度0.9999が保証された。