[論文レビュー] Deep Constrained Q-learning

Gabriel Kalweit, Maria Huegle+2 more|arXiv (Cornell University)|Mar 20, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 14

ひとこと要約

本稿では、Q更新時に制約を直接強制することで、学習中に行動空間を制限する新しいオフポリシー強化学習フレームワークであるDeep Constrained Q-learning（CDQN）を提案する。これにより、最適かつ安全な方策が保証される。本手法は、打ち切り価値関数を用いてマルチステップ制約を導入し、割引率に依存しない制約定式化を可能にし、報酬形状付けやラグランジュ法に比べ、自律走行タスクにおける安全性、快適性、右レーン制約の面で解釈可能性と性能が向上する。

ABSTRACT

In many real world applications, reinforcement learning agents have to optimize multiple objectives while following certain rules or satisfying a list of constraints. Classical methods based on reward shaping, i.e. a weighted combination of different objectives in the reward signal, or Lagrangian methods, including constraints in the loss function, have no guarantees that the agent satisfies the constraints at all points in time and can lead to undesired behavior. When a discrete policy is extracted from an action-value function, safe actions can be ensured by restricting the action space at maximization, but can lead to sub-optimal solutions among feasible alternatives. In this work, we propose Constrained Q-learning, a novel off-policy reinforcement learning framework restricting the action space directly in the Q-update to learn the optimal Q-function for the induced constrained MDP and the corresponding safe policy. In addition to single-step constraints referring only to the next action, we introduce a formulation for approximate multi-step constraints under the current target policy based on truncated value-functions. We analyze the advantages of Constrained Q-learning in the tabular case and compare Constrained DQN to reward shaping and Lagrangian methods in the application of high-level decision making in autonomous driving, considering constraints for safety, keeping right and comfort. We train our agent in the open-source simulator SUMO and on the real HighD data set.

研究の動機と目的

• 自律走行のような実世界の応用において、複数の安全性および性能制約を満たす強化学習エージェントを訓練する課題に対処すること。
• 報酬形状付けやラグランジュ法に欠ける制約満たしの保証と、多数のハイパーパrameterチューニングを要するという限界を克服すること。
• 報酬形状付けや後処理による方策抽出に依存せず、Q更新プロセスを直接修正することで、硬直的制約下での最適方策を保証する手法を開発すること。
• 割引率に依存しない、かつ直感的に定式化可能な打ち切り価値関数に基づくマルチステップ制約の新クラスを導入すること。
• シミュレーションおよび実世界の環境で評価を行い、分布シフトに対して一般化性とロバストネスを示すこと。

提案手法

• 制約付きQ学習は、最大化ステップ中に制約を満たす行動のみを含む行動空間に制限することでQ更新を修正し、学習されたQ関数が安全な方策に対応することを保証する。
• 現在のターゲット方策下で打ち切り価値関数を用いた近似マルチステップ制約の定式化を導入し、割引率に依存しない有限ホライズンの制約を可能にし、割引率依存を回避する。
• 本手法はDeep Q-Networks（DQN）に統合され、Constrained DQN（CDQN）として実装される。ここで、ターゲットネットワークを用いてホライズンHにわたる未来の制約コストを推定する。
• 制約はQ更新における行動空間形状を通じて強制され、探索空間が削減され、表計算設定におけるサンプル効率が向上する。
• 本フレームワークは単一ステップおよびマルチステップ制約をサポートし、後者により「10秒間で2回を超えないレーン変更」といった直感的な定式化が可能になる。
• 報酬形状付けやラグランジュペナルティのチューニングを回避し、安全で制御可能なRLのより解釈可能でロバストな代替手法を提供する。

実験結果

リサーチクエスチョン

• RQ1 Q更新に直接制約を強制することは、報酬形状付けやラグランジュ法に比べ、より安全で最適な方策を達成できるか？
• RQ2 制約付きQ更新による行動空間形状は、報酬形状付けに比べ、サンプル効率および制約満たしの観点でどのように比較されるか？
• RQ3 打ち切り価値関数を用いたマルチステップ制約は、割引率に依存せず、解釈性と性能を向上させられるか？
• RQ4 CDQNは、シミュレーションで学習した後でも、実世界のデータ分布に一般化できるか？
• RQ5 CDQNは、自律走行意思決定において、ほぼゼロの制約違反を達成しながら、高い性能を維持できるか？

主な発見

• CDQNは、実際のHighDデータ上で評価した際、すべてのタイムステップでゼロの制約違反を達成し、安全性、速度、一貫性の面ですべてのベースラインを上回った。
• シミュレーションでは、報酬形状付けやラグランジュ法に比べ、CDQNは制約違反を桁違いに低減したが、これらは高いばらつきと一貫性のない性能を示した。
• SPEベースラインは、タスクに合わせて学習したにもかかわらず、直進走行に陥り、いかなるレーン変更も行わなかった。
• 実際のHighDデータで学習したCDQNは、新しいシナリオにうまく一般化し、シミュレーションで学習したCDQNと同等またはそれを上回った。特に、混雑な状況下で顕著な性能を示した。
• 表計算設定では、行動空間形状による探索空間の削減のおかげで、制約付きQ学習は報酬形状付けに比べて10倍のサンプル効率を達成した。
• マルチステップ制約に打ち切り価値関数を用いることで、割引率の正確なチューニングを必要とせず、10秒間のウィンドウ内でレーン変更を制限するなど、直感的で非割引の制約定式化が可能になった。