[论文解读] GAM Changer: Editing Generalized Additive Models with Interactive Visualization

Zijie J. Wang, Alex Kale+7 more|arXiv (Cornell University)|Dec 6, 2021

Explainable Artificial Intelligence (XAI)被引用 14

一句话总结

GAM Changer 是一个开源的、交互式的可视化系统，使数据科学家和领域专家能够通过直观的基于网络的界面直接操作模型权重，负责任地编辑广义可加模型（GAMs）。它集成了实时反馈、公平性意识和可逆编辑功能，使模型行为与领域知识保持一致——已在医疗保健领域得到验证，例如纠正了关于老年患者肺炎死亡率风险的反直觉预测，如对老年患者出现虚假的死亡率下降趋势，以及哮喘带来的错误保护效应。

ABSTRACT

Recent strides in interpretable machine learning (ML) research reveal that models exploit undesirable patterns in the data to make predictions, which potentially causes harms in deployment. However, it is unclear how we can fix these models. We present our ongoing work, GAM Changer, an open-source interactive system to help data scientists and domain experts easily and responsibly edit their Generalized Additive Models (GAMs). With novel visualization techniques, our tool puts interpretability into action -- empowering human users to analyze, validate, and align model behaviors with their knowledge and values. Built using modern web technologies, our tool runs locally in users' computational notebooks or web browsers without requiring extra compute resources, lowering the barrier to creating more responsible ML models. GAM Changer is available at https://interpret.ml/gam-changer.

研究动机与目标

• 为了解决尽管可解释机器学习取得进展，但在可操作模型编辑方面仍存在空白的问题，即模型解释常暴露出有害的数据模式。
• 赋予领域专家和数据科学家能力，以纠正与领域知识或伦理价值观相悖的模型缺陷行为。
• 通过支持本地、基于浏览器的模型编辑，无需额外计算资源，降低负责任人工智能的使用门槛。
• 通过可逆操作和记录编辑历史，促进模型编辑的透明度和可问责性。
• 通过支持基于可解释性的模型权重直接操作，将人类专业知识整合到机器学习生命周期中。

提出的方法

• 该系统采用四面板界面：GAM画布用于可视化编辑特征效应，指标面板用于实时性能反馈，特征面板用于识别相关特征和公平性风险，历史面板用于跟踪和回退编辑操作。
• 用户可通过在GAM画布上拖拽或单击操作（如“插值”或“删除”）直接编辑GAM权重，以使预测结果与领域知识保持一致。
• 该工具利用WebAssembly和现代Web技术，在笔记本或浏览器中本地运行，确保低延迟、安全且易于访问的模型编辑体验。
• 它采用持续反馈机制，在编辑过程中实时展示性能权衡和公平性影响。
• 该系统支持对连续和分类特征的编辑，例如插值风险曲线或移除虚假效应（如哮喘的错误保护效应）。
• 编辑操作在历史面板中被记录，附带用户注释，以支持可审计性和模型修改的可重现性。

实验结果

研究问题

• RQ1 领域专家和数据科学家如何有效编辑机器学习模型，以纠正可解释性揭示的有害或反直觉行为？
• RQ2 哪些交互式可视化设计模式能够使非专家用户安全且透明地修改复杂模型权重？
• RQ3 如何使模型编辑可逆、可审计，并与领域知识和伦理价值观保持一致？
• RQ4 在基于领域知识编辑模型预测时，模型性能与公平性之间的权衡是什么？
• RQ5 交互式编辑系统如何通过整合可解释性与可操作的模型修改，支持负责任的人工智能？

主要发现

• GAM Changer 系统成功使领域专家纠正了一项反直觉的模型行为：在81至86岁患者中，预测的肺炎死亡率风险出现下降，这与临床知识相悖。
• 通过使用“插值”功能，用户将81至87岁之间的风险曲线线性调整，使预测风险逐渐上升，结果符合临床合理性。
• 系统通过特征面板中的特征相关性分析，发现影响老年患者的编辑对女性群体产生不成比例的影响，凸显了公平性问题。
• 通过删除哮喘特征的影响，纠正了模型错误预测哮喘可降低肺炎死亡率风险的问题，使哮喘患者的平均风险预测恢复正常。
• 编辑后，通过指标面板实时监控模型性能指标，确保整体预测准确性未出现显著下降。
• 该系统的可逆且有记录的编辑工作流使用户能够比较、回退和解释更改，支持模型开发过程中的问责性和透明度。