[论文解读] CDT: Cascading Decision Trees for Explainable Reinforcement Learning

Zihan Ding, Pablo Hernández-Leal+3 more|arXiv (Cornell University)|Nov 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 28被引用 11

一句话总结

本文提出级联决策树（CDTs），一种新颖的可微分决策树架构，通过将表征学习与分层决策相结合，提升可解释强化学习的性能。CDTs 在策略性能与可解释性方面均优于软决策树与离散化决策树，以更少的参数实现更高准确率，且决策路径更稳定、更符合人类理解。

ABSTRACT

Deep Reinforcement Learning (DRL) has recently achieved significant advances in various domains. However, explaining the policy of RL agents still remains an open problem due to several factors, one being the complexity of explaining neural networks decisions. Recently, a group of works have used decision-tree-based models to learn explainable policies. Soft decision trees (SDTs) and discretized differentiable decision trees (DDTs) have been demonstrated to achieve both good performance and share the benefit of having explainable policies. In this work, we further improve the results for tree-based explainable RL in both performance and explainability. Our proposal, Cascading Decision Trees (CDTs) apply representation learning on the decision path to allow richer expressivity. Empirical results show that in both situations, where CDTs are used as policy function approximators or as imitation learners to explain black-box policies, CDTs can achieve better performances with more succinct and explainable models than SDTs. As a second contribution our study reveals limitations of explaining black-box policies via imitation learning with tree-based explainable models, due to its inherent instability.

研究动机与目标

• 解决深度强化学习策略难以解释的问题，因其通常因复杂的神经网络架构而显得不透明。
• 改进现有可微分决策树方法（如 SDTs、DDTs）在高维状态空间中表达能力不足与可扩展性差的问题。
• 开发一种在保持高可解释性的同时，在完整强化学习与模仿学习设置中均具备竞争力性能的模型。
• 探究通过模仿学习使用基于树的模型解释黑箱强化学习策略的可靠性，揭示其内在的结构不稳定性问题。

提出的方法

• 提出级联架构：第一阶段由一个表征学习决策树将原始观测转化为中间表征，再输入至决策树进行决策。
• 采用可微分决策节点与软路由机制，支持通过反向传播进行端到端训练，保持梯度在树结构中的有效流动。
• 在树的第一阶段应用表征学习，生成紧凑且有意义的中间特征，以捕捉复杂的状态依赖关系。
• 在训练后对最终决策树结构进行离散化处理，以增强可解释性，同时保持高预测准确率。
• CDTs 可端到端训练为完整强化学习中的策略近似器，或通过模仿学习来模仿预训练的黑箱智能体。
• 在中间特征空间中使用线性变换，以平衡模型的表达能力与可解释性，避免复杂非线性变换对透明度的损害。

实验结果

研究问题

• RQ1 与标准软决策树或离散化决策树相比，级联决策树架构是否能在强化学习中同时提升性能与可解释性？
• RQ2 在决策路径中引入表征学习，如何影响最终决策树模型的表达能力与紧凑性？
• RQ3 使用基于树的模型进行模仿学习，是否是解释黑箱强化学习策略的可靠方法？是否存在因训练运行间结构不稳定性导致的解释不可靠问题？
• RQ4 CDTs 在保持高性能的同时，能在多大程度上恢复启发式或直观的决策规则（如在 CartPole 中）？
• RQ5 与 NBDTs 或神经决策森林等最先进模型相比，CDTs 在参数效率与可解释性方面表现如何？

主要发现

• 在完整强化学习与模仿学习设置中，CDTs 的最终性能均优于 SDTs，且在 CartPole-v1、LunarLander-v2 与 MountainCar-v0 环境中平均奖励始终更高。
• CDTs 所需参数显著少于 SDTs，从而实现更紧凑、更可解释的树结构，同时在离散化后保持或提升准确率。
• 在 CartPole 环境中学习到的 CDTs 生成的决策规则与启发式策略高度近似：若 $ w\theta + \dot{\theta} < 0 $，则向左推动；否则向右推动，体现出与人类直觉逻辑的一致性。
• 在 LunarLander-v2 环境中，CDTs 学习到有意义的特征组合，如角度与角速度的关系，以及 X-Y 坐标之间的关联，表明其具备有效的表征学习能力。
• 基于树的模型进行模仿学习时，结构方差较高：尽管性能相似，不同运行中生成的 CDTs 与 SDTs 的树结构与特征重要性差异显著，表明解释存在结构性不稳定性。
• CDTs 对树深度的敏感性低于 SDTs，在 CartPole 与 LunarLander 环境中均表现出更稳定的训练曲线与更优的泛化能力。