[论文解读] Attention Mechanism for Multivariate Time Series Recurrent Model Interpretability Applied to the Ironmaking Industry

Cédric Schockaert, Reinhard Leperlier+1 more|arXiv (Cornell University)|Jul 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 17被引用 6

一句话总结

本文提出了一种注意力增强的LSTM模型，用于高炉炼铁过程中可解释的多变量时间序列预测，通过注意力机制和引导反向传播实现特征重要性的定位。与标准RNN相比，该模型在预测精度和复杂工艺关系的可解释性方面表现更优。

ABSTRACT

Data-driven model interpretability is a requirement to gain the acceptance of process engineers to rely on the prediction of a data-driven model to regulate industrial processes in the ironmaking industry. In the research presented in this paper, we focus on the development of an interpretable multivariate time series forecasting deep learning architecture for the temperature of the hot metal produced by a blast furnace. A Long Short-Term Memory (LSTM) based architecture enhanced with attention mechanism and guided backpropagation is proposed to accommodate the prediction with a local temporal interpretability for each input. Results are showing high potential for this architecture applied to blast furnace data and providing interpretability correctly reflecting the true complex variables relations dictated by the inherent blast furnace process, and with reduced prediction error compared to a recurrent-based deep learning architecture.

研究动机与目标

• 开发一种用于预测高炉铁水温度的可解释深度学习模型。
• 通过局部时间可解释性解决工业领域中工艺工程师对数据驱动模型信任度不足的挑战。
• 在保持透明度的前提下降低多变量时间序列预测的误差。
• 在具有复杂非线性关系的真实高炉炼铁工艺数据上验证该模型。
• 证明注意力机制能够在工业环境中反映真实的物理过程动态。

提出的方法

• 设计了一种注意力增强的长短期记忆（LSTM）网络，用于建模来自高炉的多变量时间序列数据。
• 注意力机制计算过去时间步的动态权重，以突出对当前预测具有相关性的历史输入。
• 应用引导反向传播生成局部可解释性，通过将预测输出归因于单个输入特征。
• 在包含多个工艺变量的真实工业时间序列数据上端到端训练该模型。
• 按时间步可视化特征重要性，以揭示输入与输出温度之间的因果关系。
• 该架构将注意力机制与标准LSTM单元结合，既保留长期依赖性，又实现可解释性。

实验结果

研究问题

• RQ1 注意力机制是否能提升工业环境中多变量时间序列模型的可解释性？
• RQ2 注意力机制是否能正确反映高炉操作中的真实物理关系？
• RQ3 与标准RNN相比，所提出的模型是否能降低高炉炼铁应用中的预测误差？
• RQ4 各个输入变量在每个时间步对预测的贡献如何？
• RQ5 引导反向传播是否能有效定位复杂工业时间序列中的特征重要性？

主要发现

• 注意力增强的LSTM模型在高炉数据上的预测误差低于标准循环模型。
• 注意力机制成功突出了相关的历史时间步，与已知的物理过程动态一致。
• 引导反向传播提供了局部化、时间特定的预测归因，增强了模型透明度。
• 领域专家验证了该模型的可解释性与高炉炼铁工艺知识一致。
• 注意力权重揭示了多变量输入之间非平凡且复杂的依赖关系，这些关系在基线模型中并不明显。
• 注意力机制与引导反向传播的结合，使工业时间序列预测在保持高精度的同时实现了可操作的可解释性。