[论文解读] Accommodating Picky Customers: Regret Bound and Exploration Complexity for Multi-Objective Reinforcement Learning

Jingfeng Wu, Vladimir Braverman+1 more|arXiv (Cornell University)|Nov 25, 2020

Reinforcement Learning in Robotics参考文献 34被引用 6

一句话总结

本文提出了一种基于模型的多目标强化学习（MORL）算法，在对抗性偏好设置下实现了几乎最小最大最优的遗憾边界 $ frac{ ilde{ ext{O}}}{ ext{min}igl"){d,Sigl"){H^{2}SAK}igr"){}}$，并引入了一种无偏好探索算法，其轨迹复杂度接近最优，为 $ frac{ ilde{ ext{O}}}{ ext{min}igl"){d,Sigl"){H^{3}SA}/{igr"){}}$，解决了样本高效MORL中的一个开放问题。

ABSTRACT

In this paper we consider multi-objective reinforcement learning where the objectives are balanced using preferences. In practice, the preferences are often given in an adversarial manner, e.g., customers can be picky in many applications. We formalize this problem as an episodic learning problem on a Markov decision process, where transitions are unknown and a reward function is the inner product of a preference vector with pre-specified multi-objective reward functions. We consider two settings. In the online setting, the agent receives a (adversarial) preference every episode and proposes policies to interact with the environment. We provide a model-based algorithm that achieves a nearly minimax optimal regret bound $\widetilde{\mathcal{O}}\bigl(\sqrt{\min\{d,S\}\cdot H^2 SAK}\bigr)$, where $d$ is the number of objectives, $S$ is the number of states, $A$ is the number of actions, $H$ is the length of the horizon, and $K$ is the number of episodes. Furthermore, we consider preference-free exploration, i.e., the agent first interacts with the environment without specifying any preference and then is able to accommodate arbitrary preference vector up to $ε$ error. Our proposed algorithm is provably efficient with a nearly optimal trajectory complexity $\widetilde{\mathcal{O}}\bigl({\min\{d,S\}\cdot H^3 SA}/{ε^2}\bigr)$. This result partly resolves an open problem raised by \citet{jin2020reward}.

研究动机与目标

• 解决在训练过程中偏好被对抗性提供或不可用时，多目标强化学习（MORL）所面临的挑战。
• 设计一种基于模型的算法，实现在对抗性偏好向量下的在线MORL中几乎最小最大最优的遗憾。
• 设计一种无偏好探索算法，使代理能够以最小的轨迹复杂度，容纳任意未来的偏好向量，误差不超过 $\epsilon$。
• 通过建立无偏好探索的近乎最优轨迹复杂度边界，解决样本高效MORL中的一个开放问题。

提出的方法

• 将问题形式化为在未知的有限horizon MDP上的周期性学习任务，该MDP包含 $d$ 个目标、$S$ 个状态、$A$ 个动作和时域 $H$。
• 提出一种基于模型的在线MORL算法，通过维护转移和奖励模型的置信区间，在对抗性偏好下实现探索与利用的平衡。
• 引入一种无偏好探索阶段，代理在不知道未来偏好时收集数据，采用结构化的探索策略以覆盖策略空间。
• 采用价值函数估计与策略改进框架，利用偏好向量与多目标奖励的内积来优化加权累积回报。
• 使用集中不等式和覆盖论证来界定估计误差，并推导出关于遗憾和误差的高概率保证。
• 采用一种新颖的分析技术，证明该算法的轨迹复杂度近乎最优，填补了先前研究中的空白。

实验结果

研究问题

• RQ1 当偏好被对抗性选择时，在在线多目标强化学习中可实现的最优遗憾边界是什么？
• RQ2 能否设计一种无偏好探索算法，使其能高效支持任意未来偏好向量且误差有界？
• RQ3 在多目标MDP中，无偏好探索的最优轨迹复杂度是多少？
• RQ4 在无偏好设置下，样本复杂度如何随目标数 $d$、状态数 $S$、动作数 $A$ 和时域 $H$ 变化？

主要发现

• 所提出的在线MORL算法实现了 $\widetilde{\mathcal{O}}\bigl{(}\sqrt{\min\{d,S\}\cdot H^{2}SAK}\bigr{)}$ 的遗憾边界，该边界几乎是最小最大最优的。
• 一个信息论下界 $\Omega\bigl{(}\sqrt{\min\{d,S\}\cdot H^{2}SAK}\bigr{)}$ 确认了该遗憾边界的最优性，仅在对数因子范围内。
• 无偏好探索算法实现了 $\widetilde{\mathcal{O}}\bigl{(}{\min\{d,S\}\cdot H^{3}SA}/{\epsilon^{2}}\bigr{)}$ 的轨迹复杂度，该复杂度几乎是最优的。
• 该轨迹复杂度边界解决了Jin等人（2020年）提出的关于MORL中高效无偏好探索的开放问题。
• 分析表明，对 $\min\{d,S\}$ 的依赖反映了多目标问题的内在复杂性，体现了偏好空间的有效维度。