[论文解读] Interpretable Mixture of Experts

Aya Abdelsalam Ismail, Sercan Ö. Arık+4 more|arXiv (Cornell University)|Jun 5, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出可解释性专家混合模型（Interpretable Mixture of Experts, IME），这是一种新颖的框架，将可解释专家（如线性模型或决策树）与可学习的分配模块相结合，为表格数据和时间序列数据提供高精度、内在可解释的预测。IME 在准确率上达到与深度神经网络相当的 SOTA 水平，同时提供忠实、人类可理解的解释，其在用户信任度和可解释性方面优于事后解释方法。

ABSTRACT

The need for reliable model explanations is prominent for many machine learning applications, particularly for tabular and time-series data as their use cases often involve high-stakes decision making. Towards this goal, we introduce a novel interpretable modeling framework, Interpretable Mixture of Experts (IME), that yields high accuracy, comparable to `black-box' Deep Neural Networks (DNNs) in many cases, along with useful interpretability capabilities. IME consists of an assignment module and a mixture of experts, with each sample being assigned to a single expert for prediction. We introduce multiple options for IME based on the assignment and experts being interpretable. When the experts are chosen to be interpretable such as linear models, IME yields an inherently-interpretable architecture where the explanations produced by IME are the exact descriptions of how the prediction is computed. In addition to constituting a standalone inherently-interpretable architecture, IME has the premise of being integrated with existing DNNs to offer interpretability to a subset of samples while maintaining the accuracy of the DNNs. Through extensive experiments on 15 tabular and time-series datasets, IME is demonstrated to be more accurate than single interpretable models and perform comparably with existing state-of-the-art DNNs in accuracy. On most datasets, IME even outperforms DNNs, while providing faithful explanations. Lastly, IME's explanations are compared to commonly-used post-hoc explanations methods through a user study -- participants are able to better predict the model behavior when given IME explanations, while finding IME's explanations more faithful and trustworthy.

研究动机与目标

• 为高风险应用场景中涉及的表格数据和时间序列数据，解决对可靠、忠实且可解释的模型解释的迫切需求。
• 开发一种框架，在保持与黑箱深度神经网络相当的高预测准确率的同时，提供内在可解释的预测。
• 通过支持可解释专家和分配模块，或与 DNN 集成，实现完全可解释性和部分可解释性，从而实现准确率与可解释性之间的权衡。
• 评估 IME 的解释是否比事后解释方法（如显著性图）更具可信度和易理解性。
• 在包括表格数据和多变量时间序列数据在内的多样化真实世界数据集上，证明其泛化能力。

提出的方法

• IME 采用专家混合架构，其中每个输入样本通过可微分的分配模块被分配给单一专家，确保专家选择的稀疏性。
• 该框架支持多种配置：S-IME（单层分配）和 H-IME（分层分配），并支持可解释或基于 DNN 的分配模块与专家。
• 可解释专家包括线性模型、决策树或其他内在可解释的模型，确保预测结果可被其特征贡献精确描述。
• 分配模块可通过包含效用、平滑性和专家分配正则化的复合损失函数进行端到端训练，以提升泛化能力和稳定性。
• IME 将过去的预测误差作为输入特征输入分配模块，增强其将样本路由至最适切专家的能力。
• 该框架支持完全可解释性（当分配模块和专家均为可解释时）和部分可解释性（仅专家可解释时），从而实现准确率与可解释性之间的灵活权衡。

实验结果

研究问题

• RQ1 可解释专家的混合模型是否能在表格数据和时间序列数据上实现与当前 SOTA 深度神经网络相当的预测准确率？
• RQ2 IME 是否能生成比事后解释方法（如显著性图）更忠实、更可信且更易理解的解释？
• RQ3 IME 是否能在包括表格数据和多变量时间序列数据在内的多样化数据类型上实现泛化，且不损失性能？
• RQ4 在分配模块中引入过去预测误差对模型性能和路由准确率有何影响？
• RQ5 在 IME 中，为平衡准确率与可解释性，最优专家数量和模型容量是多少？

主要发现

• 在 15 个真实世界的表格数据和时间序列数据集上，IME 的表现优于单一可解释模型（如线性回归和决策树），在大多数情况下实现了更高的准确率。
• IME 在多个基准测试中达到 SOTA 性能，甚至在使用长输入序列的线性模型时，优于黑箱 DNN（如 LSTMs）。
• 用户研究表明，参与者更能预测模型行为，且认为 IME 的解释比基于显著性的解释更具可信度和忠实度。
• 消融实验表明，损失函数中的所有组件——效用、平滑性和专家分配正则化——对实现最优性能均至关重要。
• 最优专家数量为线性模型专家 40 个，软决策树专家 20 个；当专家因容量过大而未被充分利用时，性能会下降。
• 即使分配模块为 DNN，IME 仍能保持高准确率，同时通过专家组件提供可解释的预测，从而实现混合可解释性。