[论文解读] Game-Theoretic Interpretability for Temporal Modeling

Guang-He Lee, David Alvarez-Melis+1 more|arXiv (Cornell University)|Jun 30, 2018

Explainable Artificial Intelligence (XAI)参考文献 9被引用 5

一句话总结

本文提出了一种基于博弈论的可解释时序建模框架，其中复杂预测器与一个简单、可解释的解释器协同训练，以在不施加架构限制的情况下确保局部可解释性。该方法在保持最先进准确率的同时，生成了稳定且局部可解释的解释，在股票价格和轴承退化数据集上验证，偏差和总变差度量显著改善。

ABSTRACT

Interpretability has arisen as a key desideratum of machine learning models alongside performance. Approaches so far have been primarily concerned with fixed dimensional inputs emphasizing feature relevance or selection. In contrast, we focus on temporal modeling and the problem of tailoring the predictor, functionally, towards an interpretable family. To this end, we propose a co-operative game between the predictor and an explainer without any a priori restrictions on the functional class of the predictor. The goal of the explainer is to highlight, locally, how well the predictor conforms to the chosen interpretable family of temporal models. Our co-operative game is setup asymmetrically in terms of information sets for efficiency reasons. We develop and illustrate the framework in the context of temporal sequence models with examples.

研究动机与目标

• 解决复杂时序模型中可解释性的缺乏，特别是针对连续序列数据。
• 开发一种框架，增强可解释性而不限制预测器的功能类别。
• 通过在邻域区域内将预测器与一个简单、可解释的解释器对齐，实现局部可解释性。
• 通过合作博弈论公式，在预测准确率与可解释性之间实现平衡。
• 在真实世界时序数据集（如股票价格和机械轴承退化）上验证该方法。

提出的方法

• 该框架将复杂预测器 $ f \in \mathcal{F} $ 与一个简单、可解释的解释器 $ g \in \mathcal{G} $ 建模为两人合作博弈，其中 $ \mathcal{G} $ 受到约束（例如线性模型或决策桩）。
• 通过基于邻域的差异度量强制实现局部可解释性：$ \min_{g \in \mathcal{G}} \frac{1}{|\mathcal{B}_\epsilon(x_t)|} \sum_{x' \in \mathcal{B}_\epsilon(x_t)} d(f(x'), g(x')) $，确保预测器在局部与解释器保持一致。
• 该博弈采用非对称目标：预测器最小化预测误差，而解释器最小化与预测器的偏差，其中正则化项由 $ \lambda $ 控制。
• 解释器与预测器联合训练，使预测器能够保持功能复杂性，同时被引导实现局部可解释行为。
• 该方法使用深度序列模型（如LSTM、CNN）作为预测器，使用岭回归作为解释器，邻域窗口大小为 $ \epsilon $。
• 通过总变差（TV）和偏差度量评估学习到的解释在时间上的稳定性和可解释性。

实验结果

研究问题

• RQ1 能否在不施加架构限制的情况下，引导一个复杂且不可解释的预测器，使其在局部行为上表现得像一个可解释模型？
• RQ2 如何在时序建模中形式化可解释性，特别是针对连续序列数据？
• RQ3 在时间序列建模中，预测准确率与局部可解释性之间的权衡是什么？
• RQ4 与标准深度学习或事后解释方法相比，合作博弈论框架如何提升稳定性和可解释性？
• RQ5 该框架能否在真实世界数据集的不同时间模式中产生一致且有意义的解释？

主要发现

• 在轴承数据集上，博弈论模型在 $ \lambda = 0.1 $ 时的偏差为 3.431 × 10⁻²，总变差（TV）为 5.706 × 10⁻²，相较于深度模型（偏差 4.197 × 10⁻²，TV 7.341 × 10⁻²）显著降低了偏差和TV。
• 在股票市场数据集上，博弈模型将偏差从深度模型的 4.197 × 10⁻² 降低至 3.431 × 10⁻²，TV 从 7.341 × 10⁻² 降低至 5.706 × 10⁻²，同时保持了较低的预测误差（RMSE = 8.136 × 10⁻²）。
• 当 $ \lambda = 0.1 $ 时，博弈模型在准确率上优于深度模型（RMSE 8.057 × 10⁻² vs. 8.136 × 10⁻²），表明具有正则化优势。
• 权重向量的可视化显示，博弈模型产生的解释比深度模型更稳定且在时间上更一致，尤其是在第9个时间点之后。
• 在轴承数据集上的隐式博弈公式显示，随着 $ \lambda $ 增加，可解释性单调提升（偏差和TV下降），证实了准确率与可解释性之间可控的权衡。
• 在隐式设置下，解释器的参数捕捉到了轴承数据中的显著时间模式，包括第9个时间点之后的变化，表明实现了有意义的局部可解释性。