[论文解读] Learning Qualitatively Diverse and Interpretable Rules for Classification

Andrew Slavin Ross, Weiwei Pan+1 more|arXiv (Cornell University)|Jun 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 2被引用 6

一句话总结

本文提出一种方法，通过在训练过程中强制模型梯度之间的局部独立性，学习一组最大化的定性上多样化且可解释的分类规则。与将多个准确规则组合成复杂模型的标准方法不同，该方法识别并分离出不同的、简单的、人类可解释的函数——在解耦数据生成任务中通过实证验证，其在恢复单个生成因子方面比标准训练更准确。

ABSTRACT

There has been growing interest in developing accurate models that can also be explained to humans. Unfortunately, if there exist multiple distinct but accurate models for some dataset, current machine learning methods are unlikely to find them: standard techniques will likely recover a complex model that combines them. In this work, we introduce a way to identify a maximal set of distinct but accurate models for a dataset. We demonstrate empirically that, in situations where the data supports multiple accurate classifiers, we tend to recover simpler, more interpretable classifiers rather than more complex ones.

研究动机与目标

• 解决标准机器学习方法将多个准确、可解释的分类器合并为复杂、可解释性较差的模型的局限性。
• 正式定义并识别给定数据集中一组最大化的多样化、准确且可解释的分类器。
• 开发一种训练方法，鼓励模型在梯度响应上具有局部独立性，以促进定性多样性。
• 证明此类多样化模型在泛化能力与可解释性方面优于组合而成的复杂模型。
• 证明局部独立性训练即使在表征不完全解耦的情况下，也能恢复单个生成因子。

提出的方法

• 将一组最大化的多样化分类器定义为：在小输入扰动下，其分类函数在局部上相互独立。
• 通过包含对模型间非正交梯度的惩罚项的损失函数，训练一个模型集成，以强制实现局部独立性。
• 使用梯度正交性作为模型响应对输入扰动的统计独立性的代理指标。
• 通过在解耦变分自编码器（β-VAE）的潜在表示上训练分类器，将该方法应用于深度神经网络。
• 通过特征可视化和在隔离单个生成因子的测试集上的准确率，评估模型的多样性与可解释性。
• 在训练过程中使用局部独立性惩罚，以鼓励模型依赖于不相交的输入特征或潜在因子。

实验结果

研究问题

• RQ1 当数据中存在多个此类函数时，我们能否识别并恢复一组最大化的独立、准确且可解释的分类函数？
• RQ2 在模型梯度之间强制实现局部独立性，是否能产生比标准训练更简单、更具可解释性的模型？
• RQ3 即使潜在表征不完全解耦，局部独立性训练是否仍能将单个生成因子分离出来？
• RQ4 在不同测试分布下，多样化模型与标准模型在准确率和泛化能力方面的表现如何比较？
• RQ5 所提出的方法对噪声和未知底层预测函数数量是否具有鲁棒性？

主要发现

• 标准训练方法将多个准确的决策规则合并为复杂、密集的模型，使其更难解释。
• 所提出的局部独立性训练方法成功从解耦数据分布中恢复出独立、简单且可解释的函数（例如：位置、尺度）。
• 在 dSprites 数据集上，局部独立性训练在隔离单个潜在因子（如 x 位置、y 位置）的测试集上，准确率显著高于标准训练。
• 该方法恢复出的模型各自仅依赖于一个生成因子，而标准模型则对所有因子均表现出敏感性，表明其具有更好的解耦性。
• 即使潜在表征不完全解耦，局部独立性方法仍实现了优于标准训练的解耦效果。
• 多样化模型的训练准确率存在一定程度的不完美，表明当准确率与独立性无法同时达到最优时，二者之间存在平滑的权衡。