[論文レビュー] Exploration-Exploitation in Constrained MDPs

Yonathan Efroni, Shie Mannor+1 more|arXiv (Cornell University)|Mar 4, 2020

Reinforcement Learning in Robotics参考文献 45被引用数 31

ひとこと要約

本論文は、制約付きマルコフ決定過程（CMDP）におけるオンライン学習の探索戦略を分析し、複数のアルゴリズムに対して目的と制約違反のどちらもサブ線形後悔境界を証明します。LPベースの方法は双対ベースのアプローチより強力な保証を提供します。

ABSTRACT

In many sequential decision-making problems, the goal is to optimize a utility function while satisfying a set of constraints on different utilities. This learning problem is formalized through Constrained Markov Decision Processes (CMDPs). In this paper, we investigate the exploration-exploitation dilemma in CMDPs. While learning in an unknown CMDP, an agent should trade-off exploration to discover new information about the MDP, and exploitation of the current knowledge to maximize the reward while satisfying the constraints. While the agent will eventually learn a good or optimal policy, we do not want the agent to violate the constraints too often during the learning process. In this work, we analyze two approaches for learning in CMDPs. The first approach leverages the linear formulation of CMDP to perform optimistic planning at each episode. The second approach leverages the dual formulation (or saddle-point formulation) of CMDP to perform incremental, optimistic updates of the primal and dual variables. We show that both achieves sublinear regret w.r.t.\ the main utility while having a sublinear regret on the constraint violations. That being said, we highlight a crucial difference between the two approaches; the linear programming approach results in stronger guarantees than in the dual formulation based approach.

研究の動機と目的

• CMDP で長期的な制約が実現可能なポリシーを形作る動機付け。
• 探索と制約遵守のバランスを取るアルゴリズムの開発と分析。
• 目的性能と制約違反の両方について後悔の保証を提供。
• 制約付き設定におけるLPベースの楽観的計画と双基づくアプローチの比較。

提案手法

• CMDP へ拡張された占有測度LPを用いてUCRL2風の楽観的計画を拡張。
• plausibly CMDP を構築し楽観的に計画する OptCMDP を導入。
• OptCMDP-ボーナスを開発し、不確実性を探索ボーナスへ統合して単一の CMDP を解く。</br>楽観的な双対アプローチ（OptDual-CMDP、OptPrimalDual-CMDP）をLagrangian/ミラ Descent 更新とともに使用。
• 各手法について目的と制約違反の両方に対してサブ線形後悔境界を提供。
• 転移とコストの信頼区間をBernstein/Hoeffding境界を用いて、楽観的CMDPを構築する。

実験結果

リサーチクエスチョン

• RQ1 未知のCMDPにおける長期的制約を満たしつつエージェントはどのように探索すべきか？
• RQ2 異なる CMDP 学習戦略の後悔保証（目的と制約違反の両方）はどうなるか？
• RQ3 LPベースの楽観的計画と双ベースのアプローチは CMDP における理論的保証でどのように比較されるか？
• RQ4 探索ボーナスや双更新は計算効率的でかつ理論的安全性を持つ学習を CMDP で実現できるか？

主な発見

Algorithm	Optimality Regret (Reg_+)	Constraint Regret (Reg_+)
OptCMDP	×	×
OptCMDP-bonus	×	×
OptDual-CMDP	×	×
OptPrimalDual-CMDP	×	×

• OptCMDP は最適性と制約違反の両方についてサブ線形後悔を達成する：Reg_+(K,c) と Reg_+(K,d) は tilde-O(sqrt(S N H^4 K)) により境界付けられる。
• OptCMDP-ボーナスは OptCMDP と同じサブ線形後悔次数を達成するが、単一 CMDP 解法により計算コストがより効率的。
• OptDual-CMDP は問題パラメータとラグランジュ乗数半径 ρ に依存する後悔境界を提供し、制約後悔は (1+1/ρ) 因子を有する。
• OptPrimalDual-CMDP は類似のサブ線形後悔保証を追加の I および Hdependendent の項とともに提供。
• Table 1 は各アルゴリズムの後悔保証を要約しており、LPベースの手法が通常は双ベースのアプローチより強力な保証を達成する。