[论文解读] Deep interpretable ensembles

Lucas Kook, Andrea Götschi+3 more|arXiv (Cornell University)|May 25, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出转换集成（transformation ensembles），一种新颖的方法，通过在保留其固有可解释性的同时聚合深度转换模型的概率预测，实现性能提升。通过结构化地平均模型参数和累积分布函数（CDF），该方法在性能上可与经典深度集成相媲美，且在特定条件下保证极小化最大值最优性，并能直接量化异类不确定性（aleatoric uncertainty）与认知不确定性（epistemic uncertainty）。

ABSTRACT

Ensembles improve prediction performance and allow uncertainty quantification by aggregating predictions from multiple models. In deep ensembling, the individual models are usually black box neural networks, or recently, partially interpretable semi-structured deep transformation models. However, interpretability of the ensemble members is generally lost upon aggregation. This is a crucial drawback of deep ensembles in high-stake decision fields, in which interpretable models are desired. We propose a novel transformation ensemble which aggregates probabilistic predictions with the guarantee to preserve interpretability and yield uniformly better predictions than the ensemble members on average. Transformation ensembles are tailored towards interpretable deep transformation models but are applicable to a wider range of probabilistic neural networks. In experiments on several publicly available data sets, we demonstrate that transformation ensembles perform on par with classical deep ensembles in terms of prediction performance, discrimination, and calibration. In addition, we demonstrate how transformation ensembles quantify both aleatoric and epistemic uncertainty, and produce minimax optimal predictions under certain conditions.

研究动机与目标

• 为解决经典深度集成的关键局限——可解释性丧失，提出一种方法，以保持单个模型的内在可解释性。
• 通过集成聚合提升预测性能，同时不牺牲模型透明度或结构。
• 以可直接解释的方式，实现对异类不确定性与认知不确定性的可靠量化。
• 证明集成的性能提升并不依赖于模型灵活性的增加，从而挑战了关于黑箱集成必要性的既有假设。
• 为医学等高风险领域提供一种理论坚实、透明的替代经典深度集成的方法。

提出的方法

• 转换集成通过加权平均其累积分布函数（CDF），聚合来自多个深度转换模型的预测CDF。
• 该方法通过在集成成员之间平均线性预测器系数（如对数似然比或风险比），保留了深度转换模型的加法可解释结构。
• 集成权重在独立验证集上进行优化，以最小化合适的评分规则，确保平均性能的提升。
• 该方法基于合适的评分规则，确保集成在预测准确度方面平均优于其成员。
• 通过允许对平均模型参数（如表格特征的系数和学习到的图像表征）进行直接解释，保持了可解释性。
• 该方法支持不确定性量化，通过在参数空间（基于系数方差）和函数空间（基于CDF变异性）实现认知不确定性的估计。

实验结果

研究问题

• RQ1 集成方法是否能在提升预测性能的同时，保留单个深度转换模型的内在可解释性？
• RQ2 通过结构化地平均CDF和模型参数，是否能实现对所有个体成员的统一性能提升？
• RQ3 转换集成能否以透明且可解释的方式量化异类不确定性和认知不确定性？
• RQ4 经典深度集成的性能增益是否源于模型灵活性的提升？还是结构化集成可在不损失可解释性的前提下实现类似效果？
• RQ5 在何种条件下，转换集成对预测具有极小化最大值最优性？

主要发现

• 在包括黑色素瘤和UTKFace在内的三个公开数据集上，转换集成在区分度和校准性方面，预测性能与经典深度集成相当。
• 在合适的评分规则方面，该集成在平均意义上始终优于其个体成员，证实了理论保证的性能提升。
• 该方法支持对模型参数的直接解释，例如在黑色素瘤数据集中，性别变量的系数在引入图像数据后符号发生改变——凸显了参数平均的可解释性。
• 转换集成能够量化异类不确定性和认知不确定性，其中认知不确定性通过加法线性预测器中系数的方差进行估计。
• 在三个数据集中的两个中，将图像特征与表格特征结合后，校准性得到改善，表明多模态建模可提升临床预测的可靠性。
• 在特定条件下，转换集成对二值结果具有极小化最大值最优性，将理论保证扩展至可解释模型。