[论文解读] MoET: Interpretable and Verifiable Reinforcement Learning via Mixture of Expert Trees

Marko Vasić, Andrija Petrović+4 more|arXiv (Cornell University)|Sep 25, 2019

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

MoET 提出了一种专家树混合框架（Mixture of Expert Trees），通过将门控网络与专业化决策树专家相结合，提升了深度强化学习中策略的可解释性与可验证性。该方法通过模仿学习进行训练，在性能上优于全局决策树，且误判率更低，同时与 Z3 等自动化验证工具兼容。

ABSTRACT

Deep Reinforcement Learning (DRL) has led to many recent breakthroughs on complex control tasks, such as defeating the best human player in the game of Go. However, decisions made by the DRL agent are not explainable, hindering its applicability in safety-critical settings. Viper, a recently proposed technique, constructs a decision tree policy by mimicking the DRL agent. Decision trees are interpretable as each action made can be traced back to the decision rule path that lead to it. However, one global decision tree approximating the DRL policy has significant limitations with respect to the geometry of decision boundaries. We propose MoET, a more expressive, yet still interpretable model based on Mixture of Experts, consisting of a gating function that partitions the state space, and multiple decision tree experts that specialize on different partitions. We propose a training procedure to support non-differentiable decision tree experts and integrate it into imitation learning procedure of Viper. We evaluate our algorithm on four OpenAI gym environments, and show that the policy constructed in such a way is more performant and better mimics the DRL agent by lowering mispredictions and increasing the reward. We also show that MoET policies are amenable for verification using off-the-shelf automated theorem provers such as Z3.

研究动机与目标

• 解决深度强化学习（DRL）策略缺乏可解释性的问题，该问题限制了其在安全关键应用中的使用。
• 克服全局决策树在近似具有非线性决策边界的复杂 DRL 策略时的几何局限性。
• 开发一种可扩展、可解释的模型，在保持高性能的同时支持形式化验证。
• 在端到端 的模仿学习框架中集成不可微分的决策树专家，而无需依赖基于梯度的优化。
• 使现成的定理证明器（如 Z3）能够验证所学习策略的安全性与正确性属性。

提出的方法

• 使用门控函数将状态空间划分为多个区域，每个区域分配给一个专业化的决策树专家。
• 通过支持不可微分专家的模仿学习程序，联合训练门控网络与决策树专家。
• 应用可微分松弛技术，使在训练过程中能够通过决策树组件进行反向传播。
• 利用决策树的结构生成每种动作的可读决策规则，增强可解释性。
• 将最终的 MoET 策略与形式化验证工具（如 Z3）集成，以检查安全属性与逻辑约束。
• 通过保留单个决策树的基于路径的决策逻辑，确保策略的可解释性。

实验结果

研究问题

• RQ1 与单一全局决策树相比，专家树混合架构是否能提升模仿学习的保真度？
• RQ2 MoET 框架是否在保持高性能的同时，支持对策略行为的形式化验证？
• RQ3 不可微分的决策树专家是否能在端到端的模仿学习流水线中被有效训练？
• RQ4 在基准环境上，MoET 与全局决策树相比，在误判率和累积奖励方面表现如何？
• RQ5 现成的定理证明器（如 Z3）在多大程度上能够验证 MoET 策略的属性？

主要发现

• 在四个 OpenAI Gym 环境中，MoET 在模仿 DRL 策略时的误判率低于全局决策树。
• 在评估过程中，MoET 策略在累积奖励方面始终优于全局决策树基线。
• 使用专业化决策树专家使 MoET 更好地捕捉了状态空间中复杂的非线性决策边界。
• MoET 策略已成功通过 Z3 定理证明器验证，证明其与形式化验证工作流兼容。
• 训练过程通过可微分松弛策略，有效处理了不可微分的决策树组件。
• MoET 的可解释性得以保持，因为每个动作预测均可追溯到清晰、可读的决策规则路径。