[论文解读] Interpretable-AI Policies using Evolutionary Nonlinear Decision Trees for Discrete Action Systems.

Yashesh Dhebar, Kalyanmoy Deb+3 more|arXiv (Cornell University)|Sep 20, 2020

Reinforcement Learning in Robotics参考文献 31被引用 5

一句话总结

本文提出一种可解释的AI策略，采用进化非线性决策树（NLDT）将黑箱深度强化学习（DRL）策略蒸馏为简单、人类可读的规则。通过采用两阶段优化流程与再优化，该方法在保持与DRL相当的闭环性能的同时，使每条规则仅包含一至四个非线性项，从而实现完全可解释性且不损失性能。

ABSTRACT

Black-box artificial intelligence (AI) induction methods such as deep reinforcement learning (DRL) are increasingly being used to find optimal policies for a given control task. Although policies represented using a black-box AI are capable of efficiently executing the underlying control task and achieving optimal closed-loop performance -- controlling the agent from initial time step until the successful termination of an episode, the developed control rules are often complex and neither interpretable nor explainable. In this paper, we use a recently proposed nonlinear decision-tree (NLDT) approach to find a hierarchical set of control rules in an attempt to maximize the open-loop performance for approximating and explaining the pre-trained black-box DRL (oracle) agent using the labelled state-action dataset. Recent advances in nonlinear optimization approaches using evolutionary computation facilitates finding a hierarchical set of nonlinear control rules as a function of state variables using a computationally fast bilevel optimization procedure at each node of the proposed NLDT. Additionally, we propose a re-optimization procedure for enhancing closed-loop performance of an already derived NLDT. We evaluate our proposed methodologies on four different control problems having two to four discrete actions. In all these problems our proposed approach is able to find simple and interpretable rules involving one to four non-linear terms per rule, while simultaneously achieving on par closed-loop performance when compared to a trained black-box DRL agent. The obtained results are inspiring as they suggest the replacement of complicated black-box DRL policies involving thousands of parameters (making them non-interpretable) with simple interpretable policies. Results are encouraging and motivating to pursue further applications of proposed approach in solving more complex control tasks.

研究动机与目标

• 为解决黑箱深度强化学习（DRL）策略缺乏可解释性的问题，这些策略通常复杂且不透明。
• 开发一套分层的、可解释的非线性控制规则，以近似预训练DRL基准智能体的行为。
• 通过再优化流程提升所提取的可解释策略的闭环性能。
• 在具有不同复杂度的离散动作控制任务上评估该方法，确保可解释性与竞争力兼备。

提出的方法

• 采用非线性决策树（NLDT）架构，将控制策略表示为基于状态变量的非线性决策规则分层结构。
• 在每个NLDT节点使用计算高效的两阶段优化流程，结合进化计算与非线性优化，以学习最优非线性项。
• 使用从预训练DRL智能体（即基准策略）中提取的状态-动作对标注数据集来训练NLDT。
• 应用再优化流程对NLDT策略进行微调，以在初始规则提取后提升其闭环性能。
• 利用进化计算探索复杂的非线性决策边界，同时通过结构化的树状规则表示保持可解释性。
• 通过将每条规则限制为一至四个非线性项，平衡模型复杂度与性能，确保人类可读性。

实验结果

研究问题

• RQ1 通过进化优化生成的非线性决策树能否在离散动作控制任务中有效近似黑箱DRL策略的行为？
• RQ2 所得到的NLDT策略在保持可解释性的同时，其闭环性能能在多大程度上与原始DRL智能体相当？
• RQ3 所提出的再优化流程在提升蒸馏NLDT策略的闭环性能方面有多有效？
• RQ4 该方法能否在具有不同离散动作数量（2至4种）的控制问题上实现泛化，并同时保持可解释性与性能？

主要发现

• 所提出的基于NLDT的策略在所有四个评估的控制问题中，均实现了与原始黑箱DRL智能体相当的闭环性能。
• 蒸馏策略中的每条控制规则仅包含一至四个非线性项，与拥有数千个参数的DRL策略相比，显著提升了可解释性。
• 再优化流程成功提升了NLDT策略的闭环性能，证明其在优化蒸馏策略方面的有效性。
• 该方法成功地将复杂的DRL策略蒸馏为简单、分层且人类可读的决策规则，同时不损失任务性能。
• 结果表明，该方法在现实世界控制应用中具有强大潜力，可替代不可解释的DRL策略。
• 该方法在具有2至4种离散动作的问题中均表现有效，表明其可扩展至中等复杂度的控制任务。