[論文レビュー] Direct Behavior Specification via Constrained Reinforcement Learning

Julien Roy, Roger Girgis+3 more|arXiv (Cornell University)|Dec 22, 2021

Advanced Software Engineering Methodologies被引用数 4

ひとこと要約

本論文では、報酬設計の試行錯誤に代わる、頻度制約を用いた制約付き強化学習（CRL）とラグランジュ法を提案する。これにより、エージェントの望ましい行動を直接指定可能となり、報酬設計の手間が省ける。本手法は、複数の制約を同時に満たすことも可能で、動的地形とインタラクティブオブジェクトを備えた複雑なビデオゲーム風環境でもスケーラブルで安定した学習が可能であり、ハイパーパrameterの微調整が最小限で、実用的で高性能な方策が得られる。

ABSTRACT

The standard formulation of Reinforcement Learning lacks a practical way of specifying what are admissible and forbidden behaviors. Most often, practitioners go about the task of behavior specification by manually engineering the reward function, a counter-intuitive process that requires several iterations and is prone to reward hacking by the agent. In this work, we argue that constrained RL, which has almost exclusively been used for safe RL, also has the potential to significantly reduce the amount of work spent for reward specification in applied RL projects. To this end, we propose to specify behavioral preferences in the CMDP framework and to use Lagrangian methods to automatically weigh each of these behavioral constraints. Specifically, we investigate how CMDPs can be adapted to solve goal-based tasks while adhering to several constraints simultaneously. We evaluate this framework on a set of continuous control tasks relevant to the application of Reinforcement Learning for NPC design in video games.

研究の動機と目的

• 現実世界の強化学習応用において、手動による報酬設計が誤りを起こしやすく、ハイパーパrameterの微調整が膨大に必要なことから、報酬設計の非現実性を是正すること。
• 制約付きマルコフ決定過程（CMDP）が、強化学習における行動的好みの指定に、より直感的でスケーラブルな代替手段となり得ることを示すこと。
• 複数の行動的制約を同時に満たしつつ、主タスクのパフォーマンスを維持できる安定的でスケーラブルなアルゴリズムを開発すること。
• 行動の忠実度が極めて重要な、ビデオゲームのNPC設計に類似した現実的で複雑な環境において、フレームワークを評価すること。
• 複数の制約が主タスクを解くことを不可能にする場合に、自明な方策を回避するため、ブートストラップ制約が有効であることを示すこと。

提案手法

• 特定のイベント（例：マーカーを注視する、溶岩を避ける）の発生頻度を追跡するインジケータ関数として行動的好みを定式化する。
• 各制約にイベント発生頻度のしきい値を設定し、それらをCMDPフレームワークに統合する。
• 訓練の安定化と制約のバランスを図るために、乗数正規化を用いたラグランジュ緩和法を採用する。
• SAC（ソフトアクタクリティック）をラグランジュ乗数で拡張し、主タスク報酬と制約ペナルティを同時に最適化する。
• 訓練初期段階で、方策が実行可能である方向へ導くためのブートストラップ成功制約を導入する。
• 制御されたアリーナ環境と、動的地形とインタラクティブオブジェクトを備えた複雑なオープンワールド環境の両方でエージェントを学習させる。

実験結果

リサーチクエスチョン

• RQ1 報酬設計を伴わずに、イベント発生頻度のしきい値として表現された行動制約が、エージェント行動の形状に有効に機能するか。
• RQ2 複数の制約を同時に適用した場合、CRLのパフォーマンスは従来の報酬設計に比べてどのように異なるか。
• RQ3 乗数正規化を施したラグランジュCRLは、多数の制約を強制する際の訓練の安定性と収束性を向上させるか。
• RQ4 ブートストラップ成功制約の導入により、自明な制約満たし方策を回避し、主タスクのパフォーマンスが向上するか。
• RQ5 提案されたフレームワークは、ビデオゲームのNPC行動に類似した現実的で複雑な環境へスケーリング可能か。

主な発見

• 報酬設計には膨大なハイパーパrameter探索が必要であった：2つの制約を適用した49の実験のうち、良いパフォーマンスを示す実行可能方策が得られたのは2つにとどまり、3つの制約を適用した343の実験ではすべてが失敗した。
• ラグランジュ乗数と正規化を用いた提案されたCRLフレームワークは、複数の制約が存在する状況下でも、アリーナ環境でのナビゲーションタスクを正常に解決し、すべての制約を満たした。
• オープンワールド環境では、最大5000万ステップの学習を経て、4つの行動制約（地上にいること、溶岩に入らないこと、マーカーを注視すること、エネルギー上限を超えないこと）を満たしながらナビゲーションタスクを正常に完了した。これはスケーラビリティを示している。
• ブートストラップ成功制約の導入により、方策の質が著しく向上し、自明な制約満たし方策を回避し、実行可能で高性能な解へ導かれた。
• 本手法は、環境を問わず安定した訓練と一貫した制約満たしを達成しており、信頼性と設計効率の両面で報酬設計を上回った。
• 本フレームワークは、既存のポリシー勾配コードベースへの実装が容易であり、ゲームAIをはじめとする産業用強化学習応用への強い可能性を示している。