[论文解读] Interpretability is Harder in the Multiclass Setting: Axiomatic Interpretability for Multiclass Additive Models.

Xuezhou Zhang, Sarah Tan+4 more|arXiv (Cornell University)|Oct 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 28被引用 3

一句话总结

本文提出了一种广义加法模型（GAM）框架，用于多分类任务，通过一种称为API（公理后处理可解释性）的后处理校准技术保持可解释性。该方法将基于提升树的GAM学习扩展至多分类设置，并引入两个公理以确保可视化可解释性，API在不损失准确率的情况下，对任何预训练的多分类加法模型强制执行这些公理，实验验证基于一个12类婴儿死亡率数据集。

ABSTRACT

Generalized additive models (GAMs) are favored in many regression and binary classification problems because they are able to fit complex, nonlinear functions while still remaining interpretable. In the first part of this paper, we generalize a state-of-the-art GAM learning algorithm based on boosted trees to the multiclass setting, and show that this multiclass algorithm outperforms existing GAM fitting algorithms and sometimes matches the performance of full complex models. In the second part, we turn our attention to the interpretability of GAMs in the multiclass setting. Surprisingly, the natural interpretability of GAMs breaks down when there are more than two classes. Drawing inspiration from binary GAMs, we identify two axioms that any additive model must satisfy to not be visually misleading. We then develop a post-processing technique (API) that provably transforms pretrained additive models to satisfy the interpretability axioms without sacrificing accuracy. The technique works not just on models trained with our algorithm, but on any multiclass additive model. We demonstrate API on a 12-class infant-mortality dataset.

研究动机与目标

• 将最先进的基于提升树的GAM学习方法扩展至多分类分类设置。
• 识别确保多分类加法模型在可视化上不产生误导性的基本可解释性公理。
• 开发一种后处理技术（API），以强制执行这些公理于任何预训练的多分类加法模型。
• 在确保多分类设置下可解释性的同时，保持模型的准确性。
• 在真实世界的12类婴儿死亡率数据集上验证该方法。

提出的方法

• 将最先进的基于提升树的算法推广至多分类设置，用于训练多分类GAM。
• 定义了两个公理——局部一致性与全局单调性，以确保在多分类场景下加法模型不会产生视觉误导。
• 开发一种后处理算法（API），通过重新参数化任何预训练多分类加法模型的输出logits，使其满足这些公理。
• API与训练算法无关，因此可普遍适用于任何多分类加法模型。
• 该方法确保特征贡献在各类别间具有视觉上的一致性与可解释性。
• 采用约束优化框架调整模型输出，同时保持原始预测性能。

实验结果

研究问题

• RQ1 如何有效将广义加法模型扩展至多分类分类任务，同时保持可解释性？
• RQ2 为确保多分类加法模型在可视化上不产生误导，需要哪些公理？
• RQ3 能否设计一种后处理技术，在不降低模型准确率的前提下强制执行可解释性公理？
• RQ4 所提出的API方法在不同多分类加法模型和数据集上的泛化能力如何？
• RQ5 API增强模型在真实世界多分类基准上的实证性能如何？

主要发现

• 所提出的多分类GAM训练算法优于现有GAM拟合方法，在某些情况下性能与复杂模型相当。
• 在多分类设置下，GAM的自然可解释性因各类别间特征贡献模式不一致而失效。
• 所提出的两个可解释性公理——局部一致性和全局单调性——可防止特征效应的误导性可视化。
• API后处理技术成功地在不损失准确率的前提下，对任何预训练的多分类加法模型强制执行了这些公理。
• 在12类婴儿死亡率数据集上，经API转换的模型在所有类别中均表现出视觉上一致且可解释的特征贡献。
• 该方法具有普遍适用性，可在多分类加法模型空间中的不同训练算法和模型架构上有效运行。