[论文解读] Beyond Sparsity: Tree Regularization of Deep Models for Interpretability

Mike Wu, Michael C. Hughes+4 more|arXiv (Cornell University)|Nov 16, 2017

Explainable Artificial Intelligence (XAI)被引用 102

一句话总结

本论文引入树正则化，以训练预测高度准确且可被紧凑决策树很好近似的深度模型，在时间序列与真实世界任务中提升人类可模拟性，同时不牺牲性能。

ABSTRACT

The lack of interpretability remains a key barrier to the adoption of deep models in many applications. In this work, we explicitly regularize deep models so human users might step through the process behind their predictions in little time. Specifically, we train deep time-series models so their class-probability predictions have high accuracy while being closely modeled by decision trees with few nodes. Using intuitive toy examples as well as medical tasks for treating sepsis and HIV, we demonstrate that this new tree regularization yields models that are easier for humans to simulate than simpler L1 or L2 penalties without sacrificing predictive power.

研究动机与目标

• 为深度模型的可解释性形式之一，动机并定义“人类可模拟性”。
• 提出树正则化以鼓励决策边界能够被小型决策树很好近似。
• 证明树正则化模型在低复杂度下在时间序列与真实世界领域具有高准确性。
• 提供可解释的树代理，模仿深度模型预测以便临床人员与领域专家审核。

提出的方法

• 定义复现网络阈值预测的决策树的平均路径长度作为可模拟性的复杂度度量（Omega(W)）。
• 在参考数据集上训练一个二叉决策树以模拟深度模型的预测，然后计算平均路径长度以衡量复杂度。
• 利用一个小型MLP开发可微代理模型hat_Omega(W)，以近似非可微的Omega(W)以实现基于梯度的优化。
• 在损失函数中整合代理树正则化项hat_Omega(W)（与标准损失一起）来训练深度模型。
• 可选择构建GRU-HMM混合模型，其中树正则化GRU残留可解释的HMM，以在保持可解释性的同时提高性能。
• 以MLP和基于GRU的时间序列在合成数据、脓毒症、HIV和TIMIT任务上演示该方法，并进行保真度分析，显示代理树在多大程度上反映深度模型的决策。

实验结果

研究问题

• RQ1 是否可以训练出让较小的决策树易于模拟的决策边界，同时不牺牲预测准确性？
• RQ2 在时间序列和真实世界领域中，树正则化是否在低树复杂度下比L1/L2惩罚具有更高的准确性？
• RQ3 人类可解释的树代理是否忠实地反映了树正则化深度模型的预测（保真度）？
• RQ4 混合模型（GRU-HMM）是否能够利用树正则化的深度组件在保持可解释性的同时提升性能？
• RQ5 生成的树代理对领域专家是否在临床或听觉意义上有用？

主要发现

数据集	保真度
signal-and-noise HMM	0.88
SEPSIS (In-Hospital Mortality)	0.81
SEPSIS (90-Day Mortality)	0.88
SEPSIS (Mech. Vent.)	0.90
SEPSIS (Median Vaso.)	0.92
SEPSIS (Max Vaso.)	0.93
HIV (CD4 + below 200)	0.84
HIV (Therapy Success)	0.88
HIV (Mortality)	0.93
HIV (Poor Adherence)	0.90
HIV (AIDS Onset)	0.93
TIMIT	0.85

• 树正则化模型在小的平均路径长度下的AUC高于L1/L2正则化的对照组，且在多任务上表现更好。
• 在signal-and-noise HMM任务中，树正则化的GRU实现的AUC接近0.9，路径长度约为10，而L1/L2在达到相似AUC时需要更长的路径。
• 在Sepsis任务中，使用树正则化的GRU在路径长度2–10时的AUC提升为0.05–0.1。
• 在TIMIT和HIV任务中，树正则化在中等路径长度下带来0.05–0.15的AUC提升，而独立的树或L1/L2在低复杂度下表现不佳。
• 树代理能忠实反映深度模型的预测，在各任务中的保真度分数介于0.81–0.93。
• 树代理具有可解释性（路径长度≤25），有助于临床推理和信任建立。
• 带有树正则化GRU的GRU-HMM混合模型在等效复杂度下的准确性高于单独的GRU。