[論文レビュー] Hierarchical Potential-based Reward Shaping from Task Specifications

Luigi Berducci, Edgar A. Aguilar+2 more|arXiv (Cornell University)|Oct 6, 2021

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本論文は、安全、目的到達、快適性要件を含む形式的タスク仕様から、自動的に多次元で階層的な報酬関数を生成する、階層的ポテンシャルベース報酬形状（HPRS）を提案する。部分順序とポテンシャルベース形状を活用することで、HPRSは最適ポリシーを保証し、学習を加速する。自律走行およびロボット制御タスクにおいて、優れた性能と滑らかなシミュレーションから実世界への移行を示した。

ABSTRACT

The automatic synthesis of policies for robotic-control tasks through reinforcement learning relies on a reward signal that simultaneously captures many possibly conflicting requirements. In this paper, we in\-tro\-duce a novel, hierarchical, potential-based reward-shaping approach (HPRS) for defining effective, multivariate rewards for a large family of such control tasks. We formalize a task as a partially-ordered set of safety, target, and comfort requirements, and define an automated methodology to enforce a natural order among requirements and shape the associated reward. Building upon potential-based reward shaping, we show that HPRS preserves policy optimality. Our experimental evaluation demonstrates HPRS's superior ability in capturing the intended behavior, resulting in task-satisfying policies with improved comfort, and converging to optimal behavior faster than other state-of-the-art approaches. We demonstrate the practical usability of HPRS on several robotics applications and the smooth sim2real transition on two autonomous-driving scenarios for F1TENTH race cars.

研究の動機と目的

• 複雑なロボットタスクにおける強化学習のための効果的で多制約の報酬関数を定義する課題に対処すること。
• 安全、目的到達、快適性要件を、タスク仕様において部分順序集合として体系的に表現すること。
• 要件間の優先順位を反映した階層的優先順位を保ちつつ、ポリシー最適性を維持する報酬信号の自動生成を実現すること。
• 手動による報酬設計の負担を軽減し、連続的制御環境における収束速度とポリシー品質を向上させること。
• 特に自律走行を含む実世界のロボット工学アプリケーションにおける信頼性の高いシミュレーションから実世界への移行を可能にすること。

提案手法

• 安全、目的到達、快適性制約を含む要件の部分順序集合としてタスクを形式化し、表現力豊かな記述言語を用いる。
• ポテンシャルベース形状を通じて要件間の自然な順序を強制する階層的報酬関数を定義する。
• 個々の要件の定量的評価を用いてタイムステップ単位の報酬を計算し、遅延した責任帰属を回避する。
• ポテンシャルベースフレームワークに報酬形状を統合することで、ポリシー最適性と理論的整合性を保つ。
• 部分順序と要件評価に基づいて、最終的な報酬信号を自動的に生成する手順を適用する。
• 標準的な強化学習アルゴリズムと統合し、ベンチマークおよび実世界のF1TENTHレーシングカーを用いて検証する。

実験結果

リサーチクエスチョン

• RQ1 階層的でポテンシャルベースの報酬形状手法は、矛盾する要件を有する複雑な多目的ロボット制御タスクを効果的に表現できるか？
• RQ2 HPRSは、学習速度、ポリシー品質、タスク要件の満たし方の観点で、最先端の報酬形状手法と比較してどのように差をつけるか？
• RQ3 HPRSは、自律走行シナリオにおけるポリシーのシミュレーションから実世界への移行性をどの程度向上させるか？
• RQ4 HPRSによる快適性要件の統合は、実世界のロボットシステムにおいてより自然で移行可能な行動をもたらすか？
• RQ5 HPRSは、形式的タスク仕様から報酬を自動生成する際、ポリシー最適性を維持できるか？

主な発見

• HPRSで訓練されたポリシーは、快適性関連要件（滑らかなステアリングや制御）の満足度が著しく向上し、走行タスクにおいて+Comfortでは70%の満足度（-Comfortでは32%）を達成した。
• 安全走行タスクにおいて、快適性要件を含むポリシーは最大速度制約の99%を満たしたが、快適性なしでは36%にとどまった。
• 本手法により、F1TENTHレーシングカーにおけるシミュレーションから実世界へのデプロイが成功し、安全な距離を保ちながらレースコースを滑らかに走行し、先行車両を追従した。
• HPRSは、月面着陸機、バイペダルウォーカー、自律走行ベンチマークのすべてにおいて、最先端のアプローチよりも速やかに最適行動に収束した。
• HPRSで訓練されたポリシーは、要件満たしのばらつきが低く、特に複雑な走行シナリオにおいて一貫性があり、より強固な行動を示した。
• 快適性要件の導入により、フォローザレディーレースタスクにおいて、快適なステアリングの満足度が23%向上し、滑らかな制御の満足度は37%向上した。