[论文解读] Risk Aware and Multi-Objective Decision Making with Distributional Monte Carlo Tree Search

Conor F. Hayes, Mathieu Reymond+3 more|arXiv (Cornell University)|Feb 1, 2021

Reinforcement Learning in Robotics参考文献 38被引用 6

一句话总结

该论文提出分布蒙特卡洛树搜索（DMCTS），一种新颖的算法，通过学习回报效用的后验分布，实现在强化学习中风险感知与多目标决策。通过用多次策略执行所得到的效用值分布替代期望回报，DMCTS 在期望标量回报（ESR）设置下的多目标强化学习中实现了最先进性能，尤其在非线性效用函数下表现优异。

ABSTRACT

In many risk-aware and multi-objective reinforcement learning settings, the utility of the user is derived from the single execution of a policy. In these settings, making decisions based on the average future returns is not suitable. For example, in a medical setting a patient may only have one opportunity to treat their illness. When making a decision, just the expected return -- known in reinforcement learning as the value -- cannot account for the potential range of adverse or positive outcomes a decision may have. Our key insight is that we should use the distribution over expected future returns differently to represent the critical information that the agent requires at decision time. In this paper, we propose Distributional Monte Carlo Tree Search, an algorithm that learns a posterior distribution over the utility of the different possible returns attainable from individual policy executions, resulting in good policies for both risk-aware and multi-objective settings. Moreover, our algorithm outperforms the state-of-the-art in multi-objective reinforcement learning for the expected utility of the returns.

研究动机与目标

• 为解决在风险感知与多目标强化学习中使用期望回报时的局限性，即决策仅基于单次策略执行。
• 通过学习完整轨迹回报效用的后验分布，使智能体能够结合累积奖励与未来奖励，做出最优决策。
• 在多目标设置中支持非线性效用函数，因为线性效用近似无法捕捉现实世界中人类的偏好。
• 将蒙特卡洛树搜索（MCTS）扩展至处理确定性与随机环境中的期望标量回报（ESR）。
• 提供一种方法，在效用函数未知或非线性时，学习 ESR 下最优策略的覆盖集。

提出的方法

• DMCTS 通过执行多个独立策略并计算每次完整轨迹回报的效用，学习回报效用的自助分布。
• 该算法在每个 MCTS 节点上维护期望效用的后验分布，并利用该分布指导树搜索与动作选择。
• 它将已知的用户效用函数应用于每次完整策略执行的总回报，确保非线性效用效应得以保留。
• DMCTS 在树扩展与反向传播过程中使用 Thompson 采样作为利用策略，从学习到的后验分布中采样。
• 该方法通过用效用的分布估计替代标准 MCTS 中的值估计，扩展了标准 MCTS，实现风险感知与多目标规划。
• 它支持线性和非线性效用函数，并设计用于处理具有随机奖励的环境。

实验结果

研究问题

• RQ1 在具有非线性效用函数的期望标量回报（ESR）多目标强化学习中，分布式 MCTS 方法是否能优于标准 MCTS？
• RQ2 当效用依赖于完整轨迹回报而非仅未来期望回报时，智能体如何学习最优策略？
• RQ3 在效用函数未知或非线性时，是否可能在随机环境中为 ESR 学习到最优策略的覆盖集？
• RQ4 与依赖期望回报相比，学习效用的后验分布是否能提升风险感知环境中的决策质量？
• RQ5 当效用非线性且无法进行线性标量化时，DMCTS 是否能有效处理冲突目标之间的权衡？

主要发现

• DMCTS 在期望标量回报（ESR）准则下的多目标强化学习中实现了最先进性能，优于现有方法。
• 在具有非线性效用函数的危险深海宝藏环境中，DMCTS 如图 5 所示，成功学习到目标向量 r† 的最优效用。
• 该算法有效捕捉了效用结果的分布，实现了风险感知决策，避免了高方差、可能造成灾难性后果的结果。
• DMCTS 在确定性与随机环境中均保持卓越性能，展现出对奖励不确定性的鲁棒性。
• 通过学习效用的后验分布，DMCTS 实现了比仅依赖期望回报的方法更优的策略优化，尤其在非线性效用下表现更优。
• 该方法成功处理了线性标量化失效的非线性效用函数，使其适用于具有复杂人类偏好的现实世界决策。