[论文解读] Explaining by Imitating: Understanding Decisions by Interpretable Policy Learning

Alihan Hüyük, Daniel Jarrett+1 more|arXiv (Cornell University)|Oct 28, 2023

Machine Learning in Healthcare被引用 5

一句话总结

本文提出 INTERPOLE，一种基于贝叶斯模型的可解释策略学习方法，通过离线、部分可观测的数据联合估计智能体的信念更新过程与信念-动作映射。该方法实现了透明的离线人类决策审计——在阿尔茨海默病诊断中得到验证——通过可解释的信念单纯形与决策边界建模决策过程，在可解释性与保真度方面优于黑箱替代方案。

ABSTRACT

Understanding human behavior from observed data is critical for transparency and accountability in decision-making. Consider real-world settings such as healthcare, in which modeling a decision-maker's policy is challenging -- with no access to underlying states, no knowledge of environment dynamics, and no allowance for live experimentation. We desire learning a data-driven representation of decision-making behavior that (1) inheres transparency by design, (2) accommodates partial observability, and (3) operates completely offline. To satisfy these key criteria, we propose a novel model-based Bayesian method for interpretable policy learning ("Interpole") that jointly estimates an agent's (possibly biased) belief-update process together with their (possibly suboptimal) belief-action mapping. Through experiments on both simulated and real-world data for the problem of Alzheimer's disease diagnosis, we illustrate the potential of our approach as an investigative device for auditing, quantifying, and understanding human decision-making behavior.

研究动机与目标

• 开发一种方法，以理解现实世界中部分可观测环境（如医疗领域）的人类决策行为，其中现场实验不可行。
• 通过以人类可理解的可解释形式建模决策过程，解决模仿学习与导师学习中缺乏透明度的问题。
• 仅从完全离线的数据中学习，无需了解真实环境动力学，也无需假设行为为最优或无偏。
• 提供一种数据驱动的、可解释的决策行为表征，支持临床实践的审计、量化与解释。

提出的方法

• INTERPOLE 将决策过程建模为两阶段过程：通过主观信念更新机制进行信念更新，以及通过概率信念-动作映射进行动作选择。
• 采用贝叶斯框架，联合推断智能体的信念动态（信念如何随时间演变）与决策边界（信念如何映射到动作）。
• 将信念表示为信念单纯形中的点（例如，三个认知状态：NL、MCI、痴呆），以直观可视化不确定性与诊断进展。
• 采用基于隐含信念与决策边界的观测与动作生成模型，实现无需与环境交互的离线学习。
• 通过使用可解释的几何结构（如信念空间中的决策边界）避免黑箱表示，使领域专家能够进行推理。
• 该方法对部分可观测性具有鲁棒性，且不假设智能体的信念无偏或策略最优。

实验结果

研究问题

• RQ1 在无法进行现场交互或缺乏真实动力学知识的情况下，如何在部分可观测、高风险的环境（如医疗领域）中建模人类决策行为？
• RQ2 我们能否学习一种透明、可解释的决策策略表征，以揭示为何会采取特定动作？
• RQ3 信念更新与决策边界如何共同塑造临床诊断中的观察到的行为？
• RQ4 可解释的几何表征（如信念单纯形与决策边界）在多大程度上能提升领域专家对诊断行为的理解？
• RQ5 该方法能否有效审计并量化不同医疗机构间临床实践的差异？

主要发现

• 临床医生一致认为信念单纯形表示（C）在可视化诊断进展方面更直观，优于表格或向量格式。
• 尽管对尺度解释存在一些困惑，但决策边界表示（B）被评价为最有效传达如MRI等诊断检查订单可能性的工具。
• 尽管尺度解释存在模糊性，但大多数临床医生认为几何表征——尤其是信念单纯形与决策边界——比传统表格或向量更具可解释性。
• 该方法成功地从离线电子健康记录数据中建模了现实世界中的阿尔茨海默病诊断行为，以透明、人类可读的形式捕捉了信念演化与动作选择。
• 临床医生指出，该表征澄清了MRI在诊断中的作用，特别是在检测认知状态恶化方面，即使MRI并非主要诊断触发因素。
• 反馈表明，尽管信念单纯形在视觉上有效，但其连续性可能与临床认知中认知衰退为谱系而非离散状态的理解相冲突。