[论文解读] Interpretable Multi-Objective Reinforcement Learning through Policy Orchestration

Ritesh Noothigattu, Djallel Bouneffouf+7 more|arXiv (Cornell University)|Sep 21, 2018

Reinforcement Learning in Robotics参考文献 25被引用 22

一句话总结

本文提出了一种新颖的可解释多目标强化学习框架，通过结合逆强化学习（IRL）从行为示范中推断隐含的社会规范约束，以及使用深度强化学习（RL）来最大化环境奖励。一个上下文Bandit协调器动态在奖励最大化策略与约束满足策略之间进行选择，实现了透明、自适应的策略融合，从而在性能与合规性之间实现最优权衡——在Pac-Man环境中，当λ达到临界阈值时，表现出清晰的行为切换模式。

ABSTRACT

Autonomous cyber-physical agents and systems play an increasingly large role in our lives. To ensure that agents behave in ways aligned with the values of the societies in which they operate, we must develop techniques that allow these agents to not only maximize their reward in an environment, but also to learn and follow the implicit constraints of society. These constraints and norms can come from any number of sources including regulations, business process guidelines, laws, ethical principles, social norms, and moral values. We detail a novel approach that uses inverse reinforcement learning to learn a set of unspecified constraints from demonstrations of the task, and reinforcement learning to learn to maximize the environment rewards. More precisely, we assume that an agent can observe traces of behavior of members of the society but has no access to the explicit set of constraints that give rise to the observed behavior. Inverse reinforcement learning is used to learn such constraints, that are then combined with a possibly orthogonal value function through the use of a contextual bandit-based orchestrator that picks a contextually-appropriate choice between the two policies (constraint-based and environment reward-based) when taking actions. The contextual bandit orchestrator allows the agent to mix policies in novel ways, taking the best actions from either a reward maximizing or constrained policy. In addition, the orchestrator is transparent on which policy is being employed at each time step. We test our algorithms using a Pac-Man domain and show that the agent is able to learn to act optimally, act within the demonstrated constraints, and mix these two functions in complex ways.

研究动机与目标

• 开发一种强化学习框架，使自主智能体能够在奖励最大化与遵守隐含社会规范及约束之间实现平衡。
• 解决在缺乏明确规则定义的情况下，教会智能体遵循复杂、未明确的行为规范的挑战。
• 通过在每个决策步骤都清晰展示当前激活的策略，确保可解释性。
• 使智能体能够超越示范行为进行泛化，通过上下文Bandit学习最优策略融合。
• 证明混合策略选择在奖励与约束遵守两方面均优于单独使用任一策略的静态策略。

提出的方法

• 智能体通过与环境交互，利用深度强化学习学习奖励最大化策略πR。
• 通过专家示范中符合规范的行为，利用逆强化学习（IRL）学习约束满足策略πC。
• 在每个时间步，基于当前状态和上下文向量Υ(s_t)（编码相关环境特征），由上下文Bandit协调器在πR与πC之间进行选择。
• 该Bandit使用上下文Thompson采样（CTS）算法，在策略选择中平衡探索与利用，其中权衡参数λ控制奖励与约束目标之间的权重。
• 协调器被训练以最大化环境奖励与约束满足的凸组合，奖励根据策略选择的实际结果进行调整。
• 系统通过在每个决策步骤记录所选策略（πR或πC）实现实时可解释性。

实验结果

研究问题

• RQ1 当仅提供行为示范而无明确规则时，智能体能否学会在奖励最大化与约束合规之间取得平衡？
• RQ2 如何设计一种透明、可解释的机制，以动态选择奖励最大化策略与约束满足策略？
• RQ3 当协调器基于环境上下文学习在策略间切换时，会涌现出何种行为模式？
• RQ4 协调器能否发现优于单独使用任一策略的策略组合，从而在奖励与约束遵守方面表现更优？
• RQ5 是否存在一个临界阈值，使得在权衡参数λ上发生质的转变，例如避免高风险行为？

主要发现

• 在λ ≈ 0.215–0.22的临界点附近，智能体表现出明显的行为主动转变：从大量吃鬼（违反约束）转变为几乎完全避免吃鬼，表明其约束敏感度达到临界点。
• 当λ > 0.22时，智能体几乎完全避免吃鬼，表现出对推断出约束的强烈遵守。
• 在中等λ值（如λ = 0.4）时，协调器学习到一种高度直观的切换策略：当无鬼被吓阻时使用πR，当鬼被吓阻时切换至πC，从而在脆弱状态下最小化风险。
• 策略切换行为兼具上下文适应性与可解释性，智能体在每个时间步都明确表明当前激活的策略。
• 该框架使智能体能够通过根据实时上下文动态结合两者优势，超越单独使用πR或πC的静态策略。
• 结果表明，协调器能够学习到复杂、非平凡的融合策略，体现出类人风险意识决策行为。