[論文レビュー] Reinforcement Learning for Multi-Objective and Constrained Markov Decision Processes

Ather Gattami, Qinbo Bai+1 more|arXiv (Cornell University)|Jan 23, 2019

Reinforcement Learning in Robotics参考文献 23被引用数 9

ひとこと要約

本稿では、制約付きおよびマルチオブジェクティブなマルコフ決定過程（MDP）をゼロサムのマルコフ・バンディットゲームに定式化することで、報酬を最適化するエージェントと制約を強制する相手が存在する設定において、新規なQ学習アルゴリズムを提案する。この手法は、割引報酬および平均報酬設定の両方において最適な定常方策への収束を保証し、シミュレーションにより近似的に最適な解への収束が確認されている。

ABSTRACT

In this paper, we consider the problem of optimization and learning for constrained and multi-objective Markov decision processes, for both discounted rewards and expected average rewards. We formulate the problems as zero-sum games where one player (the agent) solves a Markov decision problem and its opponent solves a bandit optimization problem, which we here call Markov-Bandit games. We extend Q-learning to solve Markov-Bandit games and show that our new Q-learning algorithms converge to the optimal solutions of the zero-sum Markov-Bandit games, and hence converge to the optimal solutions of the constrained and multi-objective Markov decision problems. We provide a numerical example where we calculate the optimal policies and show by simulations that the algorithm converges to the calculated optimal policies. To the best of our knowledge, this is the first time learning algorithms guarantee convergence to optimal stationary policies for the constrained MDP problem with discounted and expected average rewards, respectively.

研究の動機と目的

• 未知のダイナミクスを有する制約付きおよびマルチオブジェクティブMDPにおいて、最適方策への収束を保証する一般化された強化学習アルゴリズムの不足を補うこと。
• 複数の制約下で、割引報酬および期待平均報酬の両方の定式化を扱えるようにQ学習を拡張すること。
• システムのダイナミクスや制約関数の事前知識がなくても、エージェントの報酬を最適化すると同時に制約を満たす学習フレームワークを構築すること。
• 数値シミュレーションを用いて、提案手法が最適方策への収束を示すことを実証すること、および線形計画法のベンチマークと比較すること。

提案手法

• 制約付きおよびマルチオブジェクティブMDPを、エージェントがマルコフ意思決定問題を解き、相手がバンディット的最適化によって制約を強制するゼロサムのマルコフ・バンディットゲームに定式化する。
• 状態、行動、制約パラメータ o の関数としての価値関数 Q(s, a, o) を同時に学習する拡張Q学習アルゴリズムを導入し、ミニマックス最適化を可能にする。
• 双対最適化アプローチを採用し、エージェントが報酬を最大化すると同時に、最悪ケースの制約違反を最小化するように設計し、制約パラメータの上でのミニマックス問題として定式化する。
• サンプルされた軌道を用いた繰り返し更新によりQテーブルを更新し、制約値は10,000本の軌道を用いて推定することで統計的信頼性を確保する。
• 目的値 δ に対してバイセクションに類似した探索を実施し、制約関数の収束を妥当性の指標として用いて、最適な実行可能報酬水準を同定する。
• ゼロサムのマルコフ・バンディットゲームの最適解へのアルゴリズムの理論的収束を証明し、これは元の制約付きMDPにおける最適方策に対応する。

実験結果

リサーチクエスチョン

• RQ1 システムのダイナミクスや制約関数が未知である場合、強化学習アルゴリズムは制約付きMDPにおいて最適な定常方策への収束を達成できるか？
• RQ2 複数の報酬および制約を有するマルチオブジェクティブMDPは、どのように再定式化することで学習ベースの最適化が可能になるか？
• RQ3 複数の制約下で、割引報酬および平均報酬の両方の定式化を扱えるようにQ学習を拡張することは可能か？ また、理論的収束保証は得られるか？
• RQ4 提案手法は、線形計画法で得られる既知の最適解と比較して、実際の性能においてどのように振る舞うか？

主な発見

• 理論的に証明されたように、提案されたQ学習アルゴリズムは、割引報酬および期待平均報酬の両方において、制約付きMDP問題の最適方策への収束を達成する。
• 単一サーバーのキューイングモデルにおけるシミュレーションでは、アルゴリズムが実行可能な方策を的確に同定している：δ = 9.5の場合、すべての制約が非負であり、実行可能性を示している。一方、δ = 9.7の場合、すべての制約が負であり、非実行可能性を示している。
• 最適目的値はδ = 9.55からδ = 9.625の間にあると推定され、105回の反復後にアルゴリズムの最良推定値は9.55に達しており、線形計画法ベンチマークの9.62に近く、近似的に最適に近い結果を示している。
• δ = 9.5の下で、3つの制約すべての制約値が類似した水準に収束しており、アルゴリズムが複数の制約を効果的にバランスさせる能力を示している。
• アルゴリズムの性能は反復回数およびサンプリングサイズに敏感であり、より多くの反復回数とサンプル数が最適値への収束精度の向上に寄与すると予想される。
• 105回の反復および10,000本の軌道という限られた計算リソースでも、アルゴリズムは近似的に最適な性能を達成しており、実用的な計算制約下でも頑健であることが示唆されている。