[论文解读] Learning-Based Mean-Payoff Optimization in an Unknown MDP under Omega-Regular Constraints

Jan Křetínský, Guillermo A. Pérez+1 more|arXiv (Cornell University)|Apr 24, 2018

Reinforcement Learning in Robotics被引用 13

一句话总结

本文提出一种基于学习的方法，在未知的马尔可夫决策过程（MDP）中优化平均奖励，同时保证几乎必然或确定性地满足广义正则的parity目标。该方法提出了有限记忆和无限记忆的在线学习策略，在已知支持集和最小转移概率边界的条件下，以高概率（$1-\gamma$）实现$\varepsilon$-最优平均奖励，确保在部分指定环境中的安全性与适应性。

ABSTRACT

We formalize the problem of maximizing the mean-payoff value with high probability while satisfying a parity objective in a Markov decision process (MDP) with unknown probabilistic transition function and unknown reward function. Assuming the support of the unknown transition function and a lower bound on the minimal transition probability are known in advance, we show that in MDPs consisting of a single end component, two combinations of guarantees on the parity and mean-payoff objectives can be achieved depending on how much memory one is willing to use. (i) For all $\\epsilon$ and $\\gamma$ we can construct an online-learning finite-memory strategy that almost-surely satisfies the parity objective and which achieves an $\\epsilon$-optimal mean payoff with probability at least $1 - \\gamma$. (ii) Alternatively, for all $\\epsilon$ and $\\gamma$ there exists an online-learning infinite-memory strategy that satisfies the parity objective surely and which achieves an $\\epsilon$-optimal mean payoff with probability at least $1 - \\gamma$. We extend the above results to MDPs consisting of more than one end component in a natural way. Finally, we show that the aforementioned guarantees are tight, i.e. there are MDPs for which stronger combinations of the guarantees cannot be ensured.

研究动机与目标

• 解决在转移概率和奖励未知的MDP中最大化长期平均奖励（平均奖励）的挑战，同时确保满足parity目标。
• 开发在部分知识下运行的学习策略：已知转移的概率支持集和最小转移概率的下界（$\pi_{\mathrm{min}}$）。
• 在确保几乎必然或确定性满足parity目标的同时，提供关于平均奖励最优性的概率保证。
• 将单个终态组件（EC）的结果扩展到具有多个EC的MDP，同时保持安全性和性能保证。
• 证明所提出的保证是紧致的，即在一般情况下无法实现更强的组合。

提出的方法

• 使用在线学习通过探索来估计未知的转移概率和奖励函数，以高概率（$1-\gamma/2$）实现$\varepsilon/4$-精度的近似。
• 通过转移和奖励估计的统计分析，识别MDP中的良好终态组件（GEC），其中可实现高平均奖励。
• 构建有限记忆策略：首先探索以估计MDP，然后切换到针对具有最大期望平均奖励的GEC优化的策略。
• 对于无限记忆策略，利用学习后对MDP结构的完整知识，确保在优化平均奖励的同时确定性地满足parity目标。
• 应用统计集中不等式（如Hoeffding不等式）以确保对转移和奖励函数估计的信心。
• 使用一个基准值$\mathbf{asVal}(Q,\alpha_T)$来定义在几乎必然满足parity目标下的最佳可实现平均奖励，从而实现$\varepsilon$-最优性保证。

实验结果

研究问题

• RQ1 我们能否学习一种策略，确保在已知支持集和$\pi_{\mathrm{min}}$的未知MDP中，以至少$1-\gamma$的概率实现几乎必然满足parity目标并达到$\varepsilon$-最优平均奖励？
• RQ2 我们能否在使用无限记忆的情况下，实现更强的保证——即确定性满足parity目标——同时仍以高概率确保$\varepsilon$-最优平均奖励？
• RQ3 我们如何将有限记忆学习策略从单个终态组件扩展到具有多个终态组件的MDP，同时保持安全性和性能保证？
• RQ4 在部分信息下，结合安全（parity）与性能（平均奖励）保证的根本极限是什么？
• RQ5 我们能否证明所提出的保证是紧致的，即在一般情况下无法实现更强的随机与几乎必然/确定性保证的组合？

主要发现

• 对于所有$\varepsilon, \gamma \in (0,1)$，存在一种有限记忆策略，可确保几乎必然满足parity目标，并以至少$1-\gamma$的概率实现$\varepsilon$-最优平均奖励。
• 对于所有$\varepsilon, \gamma \in (0,1)$，存在一种无限记忆策略，可确保确定性满足parity目标，并以至少$1-\gamma$的概率实现$\varepsilon$-最优平均奖励。
• 通过将parity获胜策略与GEC优化策略结合，结果可扩展至具有多个终态组件的MDP，确保在每个弱良好MEC上实现保证。
• 所提出的保证是紧致的：存在MDP使得更强的安全与性能保证组合无法实现。
• 有限记忆足以实现几乎必然的parity满足，而无限记忆在此设定下无法进一步提升安全性保证。
• 基准值$\mathbf{asVal}(Q,\alpha_T)$为在几乎必然满足parity目标下的最佳可实现平均奖励提供了基准，从而支持正式的$\varepsilon$-最优性分析。