[論文レビュー] Constrained Reinforcement Learning for Robotics via Scenario-Based Programming

Davide Corsi, Raz Yerushalmi+4 more|arXiv (Cornell University)|Jun 20, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、シナリオベースプログラミング（SBP）を介して分野専門家の知識をディープ強化学習に統合する、安全で高性能なロボット方策を実現する、画期的な制約付き強化学習フレームワークを提案する。安全および行動制約を人間が読みやすいシナリオとして符号化し、ラグランジュ法-PPOと組み合わせることで、ルール違反の大幅な削減とマップレスナビゲーションタスクにおける成功確率の向上を達成した。形式的検証により、安全性の性質が確認された。

ABSTRACT

Deep reinforcement learning (DRL) has achieved groundbreaking successes in a wide variety of robotic applications. A natural consequence is the adoption of this paradigm for safety-critical tasks, where human safety and expensive hardware can be involved. In this context, it is crucial to optimize the performance of DRL-based agents while providing guarantees about their behavior. This paper presents a novel technique for incorporating domain-expert knowledge into a constrained DRL training loop. Our technique exploits the scenario-based programming paradigm, which is designed to allow specifying such knowledge in a simple and intuitive way. We validated our method on the popular robotic mapless navigation problem, in simulation, and on the actual platform. Our experiments demonstrate that using our approach to leverage expert knowledge dramatically improves the safety and the performance of the agent.

研究の動機と目的

• ロボティクスにおけるディープ強化学習のための、直感的で人間が読みやすい方法による安全および行動制約の符号化の欠如に対処すること。
• 自律ナビゲーションなどの安全が重要な環境における、DRLに基づくロボット方策の信頼性と安全性を向上させること。
• 解釈可能性と制御性を高めるために、シナリオベースプログラミング（SBP）を用いて専門知識を直接トレーニングループに統合すること。
• 訓練済み方策の安全性の性質を形式的検証可能にするために、実世界のシステムへの導入を保証すること。
• 実ロボットプラットフォーム（Turtlebot3）を用いて、シミュレーションおよび実環境のマップレスナビゲーションタスクにおいて、本手法の有効性を実証すること。

提案手法

• ラグランジュ法-PPOを拡張し、シナリオベースプログラミング（SBP）を用いて安全および行動制約を人間が読みやすいシナリオとして符号化する。
• 各シナリオは、望ましい行動または禁止される行動（例：往復回転の回避、前進の維持）を定義し、制約付きDRLのためのコスト関数に変換される。
• SBPフレームワークにより、複数の制約を並列に組み合わせて実行でき、一貫性のあるシステム行動を保証する。
• 主な報酬目的と制約コストのバランスをとるためにラグランジュ乗数法を用い、乗数の自動適応を実現する。
• 訓練済み方策の安全性の性質を形式的検証可能にするために、深層ニューラルネットワークの検証技術を用いる。
• 本フレームワークは、シミュレーションおよびハードウェア上でのロボティクス・トゥルトルボット3プラットフォームを用いたマップレスナビゲーションタスクで評価された。

実験結果

リサーチクエスチョン

• RQ1 シナリオベースプログラミングは、DRLトレーニングのための複雑な安全および行動制約を人間が読みやすい方法で符号化するために効果的に使用できるか？
• RQ2 SBPを制約付きDRLに統合することで、標準的なDRLまたはペナルティベースの手法と比較して、ロボットエージェントの安全性と性能が向上するか？
• RQ3 提案手法は、複雑な実世界環境ですら、安全性の形式的検証が可能な方策を生成できるか？
• RQ4 制約の数が増加するに従って、本手法はどのようにスケーリングするのか。また、トレーニングの安定性と性能のトレードオフは何か？
• RQ5 主タスクのパフォーマンスを劣化させることなく、専門知識をDRLループにどの程度統合できるか？

主な発見

• 提案手法は、シミュレーションおよび実機のTurtlebot3プラットフォームにおいて、マップレスナビゲーションで100％の成功率を達成し、標準的なラグランジュ法-PPOおよび先行のペナルティベース手法を著しく上回った。
• バックアンドフォースト回転などの安全ルール違反は、Yerushalmiら[64]のベースライン手法（手動ペナルティチューニングを要する）と比較して90％以上削減された。
• 形式的検証により、すべての訓練済み方策が事前に定義された安全性の性質を満たしていることが確認され、テストされたモデルの100％が与えられた制約下で形式的に安全であった。
• 本手法は、異なる環境および制約セットにおいても頑健性を示し、複数の制約が導入されても高いパフォーマンスを維持した。
• 既存の制約付きDRL手法における主要な制限要因である手動ペナルティチューニングの必要性を排除した。これは、制約を直接SBPフレームワークに埋め込むことで実現された。
• SBPとラグランジュ法-PPOの統合により、スケーラブルかつ解釈可能な制約指定が可能となり、新たな行動ルールを段階的に追加することが現実可能になった。