[论文解读] Interpretable and Personalized Apprenticeship Scheduling: Learning Interpretable Scheduling Policies from Heterogeneous User Demonstrations

Rohan Paleja, Andrew Silva+2 more|arXiv (Cornell University)|Jun 14, 2019

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

本文提出个性化神经树（PNT），一种新颖的模仿学习框架，通过稀疏神经网络与变分推断，从异构人类示范中提取可解释的个性化调度策略。在真实世界数据上实现88.22%的模仿准确率，较基线方法提升+11%，用户研究证实其树结构显著更易解释且更易于验证，优于黑箱神经网络（p < 0.01）。

ABSTRACT

Resource scheduling and coordination is an NP-hard optimization requiring an efficient allocation of agents to a set of tasks with upper- and lower bound temporal and resource constraints. Due to the large-scale and dynamic nature of resource coordination in hospitals and factories, human domain experts manually plan and adjust schedules on the fly. To perform this job, domain experts leverage heterogeneous strategies and rules-of-thumb honed over years of apprenticeship. What is critically needed is the ability to extract this domain knowledge in a heterogeneous and interpretable apprenticeship learning framework to scale beyond the power of a single human expert, a necessity in safety-critical domains. We propose a personalized and interpretable apprenticeship scheduling algorithm that infers an interpretable representation of all human task demonstrators by extracting decision-making criteria via an inferred, personalized embedding non-parametric in the number of demonstrator types. We achieve near-perfect LfD accuracy in synthetic domains and 88.22\\% accuracy on a planning domain with real-world, outperforming baselines. Finally, our user study showed our methodology produces more interpretable and easier-to-use models than neural networks ($p &lt; 0.05$).

研究动机与目标

• 解决从使用多样化、个性化启发式规则和经验法则的异构人类调度专家中学习的挑战。
• 克服传统模仿学习的局限性，后者假设示范者同质化，无法捕捉多模态决策行为。
• 开发一种数据高效、可解释的框架，在保持高准确率的同时支持对学习策略的后期解释。
• 通过确保调度决策的透明性与可验证性，使框架可在医疗和制造等安全关键领域实现实际部署。
• 证明基于神经网络衍生的可解释模型在真实世界人机协作中，比黑箱替代方案更具可用性与可信度。

提出的方法

• 设计一种个性化神经网络架构，为每位示范者引入稀疏、解耦的嵌入表示，以建模个体决策标准，且不限制示范者类型的数量。
• 采用变分推断推断代表每位示范者独特策略的潜在代码，从而实现从异构示范中建模多模态行为。
• 使用对抗性模仿学习目标进行模型训练，以匹配专家轨迹，同时通过稀疏性保持可解释性。
• 在训练后将神经网络离散化为布尔决策树，使策略逻辑可被人类直接理解。
• 利用网络的稀疏性，实现无需显著准确率损失的、易于转换为人类可读决策树的映射。
• 将该框架应用于合成与真实世界的调度领域，包括医院与工厂协调任务，并在真实数据集上进行实证验证。

实验结果

研究问题

• RQ1 单一模仿学习框架能否在不假设同质性的前提下，有效建模来自多位人类示范者的异构调度策略？
• RQ2 基于神经网络的策略能否被转化为保留高准确率且支持人类验证的可解释决策树？
• RQ3 在真实世界环境中，所生成的可解释模型在可解释性、模拟便捷性与验证速度方面是否显著优于黑箱神经网络？
• RQ4 与最先进方法相比，该框架在合成与真实世界调度任务上的准确率与鲁棒性提升程度如何？
• RQ5 在人类感知与可用性方面，所衍生决策树的可解释性相较于黑箱神经网络有何差异？

主要发现

• 个性化神经树（PNT）框架在真实世界调度数据上实现88.22%的模仿准确率，较先前基线方法提升+11%。
• 在合成领域，PNT实现接近完美的模仿准确率，展现出强大的泛化能力与表征能力。
• 用户研究表明，从PNT衍生的可解释决策树在可解释性（p < 0.05）、模拟便捷性（p < 0.01）与验证速度（p < 0.01）方面显著优于黑箱神经网络。
• 离散化后的决策树保持高性能，在转换后仍优于合成与真实世界领域中的先前基准。
• 该方法成功捕捉了来自异构示范者的多模态行为，且不限制示范者类型的数量，实现了个性化策略学习。
• 该框架展现出强可复现性，所有代码、数据集与训练模型均已公开发布，以支持社区复用与验证。