[論文レビュー] Constrained episodic reinforcement learning in concave-convex and knapsack settings

Kianté Brantley, Miroslav Dudı́k+5 more|arXiv (Cornell University)|Jun 9, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 14

ひとこと要約

本論文は、2つの主要な設定（凹関数-凸関数：凸制約下での凹関数報酬の最大化、ナップサック：時間的硬直なリソース制限）において強力な理論的保証を達成する、制約付きエピソード強化学習のための新規アルゴリズムを提案する。報酬を過大評価し、リソース使用量を低く見積也比较して不確実性下での楽観主義を用いることで、効率的な探索と任意時刻のレグレットバウンドを実現し、先行手法を上回る実験的ベンチマーク性能を示す。

ABSTRACT

We propose an algorithm for tabular episodic reinforcement learning with constraints. We provide a modular analysis with strong theoretical guarantees for settings with concave rewards and convex constraints, and for settings with hard constraints (knapsacks). Most of the previous work in constrained reinforcement learning is limited to linear constraints, and the remaining work focuses on either the feasibility question or settings with a single episode. Our experiments demonstrate that the proposed algorithm significantly outperforms these approaches in existing constrained episodic environments.

研究の動機と目的

• 非線形目的関数および硬直な制約が存在する制約付きエピソード強化学習における、サンプル効率の悪い探索の問題に対処すること。
• エピソード設定において、凹関数-凸関数およびナップサック制約設定の両方で理論的レグレット保証を提供すること。これは、従来の研究では未解決であった。
• 学習の途中で制約違反が発生しても、常に制約違反が有界である（任意時刻保証）ことを保証すること。これは、実世界への適用にとって極めて重要である。
• 多腕バンディットから、指数的ポリシー空間を持つエピソード強化学習へと、不確実性下での楽観主義を効果的に拡張すること。
• エピソードベンチマークにおいて、先行の制約付き強化学習手法に比べて顕著な性能向上を実証すること。

提案手法

• 価値関数最適化において、報酬を過大評価し、リソース消費量を低く見積もること（すなわち、制約距離を過大評価すること）によって、不確実性下での楽観主義を用いる。
• 線形報酬および制約設定に対する保証を最初に導出するモジュラフレームワークを採用し、その後、凹関数-凸関数およびナップサックケースに拡張する。
• 推定誤差をバウンドし、任意時刻のレグレット保証を確実にするために、任意時刻型のホイーディング型集中不等式を適用する。
• 報酬の楽観的推定と制約の保守的推定に基づいてポリシーを最適化する制約付きプランナを導入する。
• ボーナス項を含む経験的リスク最小化を用いて、探索と制約満たしのバランスを取る。
• 2段階の最適化を採用：まず、楽観的ボーナスを用いて価値関数を学習し、次に、これらの推定値を用いて制約付き計画問題を解く。

実験結果

リサーチクエスチョン

• RQ1 凹関数報酬関数と凸制約の下で、エピソード強化学習において強力なレグレットバウンドを達成できるか？
• RQ2 ナップサックのような硬直な制約設定（制約に違反した場合にエージェントが停止する）において、任意時刻のレグレット保証を提供できるか？
• RQ3 多腕バンディットから、指数的ポリシー空間を持つエピソード・マークフ・決定過程へと、不確実性下での楽観主義を効果的に拡張できるか？
• RQ4 提案手法は、エピソードベンチマークにおいて、サンプル効率および制約満たしの両面で先行手法を上回ることができるか？
• RQ5 アルゴリズム設計の選択（例：ボーナス構造、プランナの反復回数）が、実験的性能に与える影響は何か？

主な発見

• 提案手法は、凹関数-凸関数およびナップサック設定の両方において、制約付きエピソード強化学習で初めての任意時刻のレグレットバウンドを達成した。
• 実験的結果は、TFW-UCRL2 や A2C をベースにしたベースラインと比較して顕著な性能向上を示した。特に、探索が重要な環境で顕著であった。
• 任意時刻保証のおかげで、学習中にいつでも制約違反が有界に保たれ、訓練が途中で中断されても問題ない。
• よりタイトなボーナス機構を用いることで、類似した理論的枠組みを持つ先行研究と比較して、優れた実験的性能を達成した。
• ハイパーパramータチューニングの結果、conplanner の反復回数と lambda の学習率が性能に顕著な影響を及ぼすことが判明。グリッドワールドおよびボックス環境では、10回の反復と0.2の学習率が最適な結果をもたらした。
• 特に長時間スパンの探索を要する設定において、報酬最大化と制約満たしの両面でベースラインを上回った。