[论文解读] MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry

Cédric Schockaert, Henri Hoyez|arXiv (Cornell University)|Jul 15, 2020

Anomaly Detection Techniques and Applications参考文献 20被引用 6

一句话总结

MTS-CycleGAN 提出了一种新颖的对抗性深度学习框架，用于多变量时间序列域自适应，通过将基于LSTM的自编码器和堆叠LSTM整合到CycleGAN架构中，实现将源高炉数据映射到目标域。该方法在人工多变量时间序列数据集上实现了复杂时间模式的有效转换，标志着CycleGAN首次在工业场景中应用于此类数据。

ABSTRACT

In the current era, an increasing number of machine learning models is generated for the automation of industrial processes. To that end, machine learning models are trained using historical data of each single asset leading to the development of asset-based models. To elevate machine learning models to a higher level of learning capability, domain adaptation has opened the door for extracting relevant patterns from several assets combined together. In this research we are focusing on translating the specific asset-based historical data (source domain) into data corresponding to one reference asset (target domain), leading to the creation of a multi-assets global dataset required for training domain invariant generic machine learning models. This research is conducted to apply domain adaptation to the ironmaking industry, and particularly for the creation of a domain invariant dataset by gathering data from different blast furnaces. The blast furnace data is characterized by multivariate time series. Domain adaptation for multivariate time series data hasn't been covered extensively in the literature. We propose MTS-CycleGAN, an algorithm for Multivariate Time Series data based on CycleGAN. To the best of our knowledge, this is the first time CycleGAN is applied on multivariate time series data. Our contribution is the integration in the CycleGAN architecture of a Long Short-Term Memory (LSTM)-based AutoEncoder (AE) for the generator and a stacked LSTM-based discriminator, together with dedicated extended features extraction mechanisms. MTS-CycleGAN is validated using two artificial datasets embedding the complex temporal relations between variables reflecting the blast furnace process. MTS-CycleGAN is successfully learning the mapping between both artificial multivariate time series datasets, allowing an efficient translation from a source to a target artificial blast furnace dataset.

研究动机与目标

• 通过利用来自多个高炉的数据，解决在炼铁行业中训练通用、域不变的机器学习模型的挑战。
• 开发一种将源高炉（源域）的多变量时间序列数据翻译到参考目标高炉（目标域）的方法。
• 将CycleGAN扩展至多变量时间序列数据，该领域在文献中仍处于研究空白。
• 实现从异构工业时间序列数据中构建统一的全球数据集，以提升模型泛化能力。
• 在反映高炉操作中真实时间动态的人工数据集上验证该方法。

提出的方法

• 通过将标准生成器和判别器替换为基于LSTM的架构，将CycleGAN框架适配于多变量时间序列。
• 采用基于LSTM的自编码器作为生成器，以学习时间表示并重建输入序列。
• 使用堆叠LSTM的判别器来区分真实与生成的多变量时间序列序列。
• 引入专用的特征提取机制，以在翻译过程中保留时间依赖性和变量间依赖关系。
• 实施循环一致性损失，以确保翻译后的数据可被重建回原始域。
• 通过对抗性损失和循环一致性损失端到端训练模型，以学习源域与目标域之间的双向映射。

实验结果

研究问题

• RQ1 CycleGAN能否被有效适配以处理工业应用中的多变量时间序列数据？
• RQ2 基于LSTM增强的CycleGAN模型在学习和迁移不同高炉运行模式之间的复杂时间依赖关系方面表现如何？
• RQ3 自编码器与堆叠LSTM的集成是否提升了多变量时间序列中域自适应的质量与一致性？
• RQ4 所提出的MTS-CycleGAN模型能否成功将人工多变量时间序列数据从源高炉配置翻译到目标高炉配置？
• RQ5 扩展的特征提取机制对生成时间序列序列保真度的影响如何？

主要发现

• MTS-CycleGAN 成功学习了两个反映不同高炉运行条件的人工多变量时间序列数据集之间的映射关系。
• 该模型在将源域数据有效翻译至目标域方面表现优异，同时保留了复杂的时间依赖性和变量间关系。
• 与标准CycleGAN相比，基于LSTM的自编码器和堆叠判别器的集成显著提升了生成序列的质量。
• 循环一致性损失确保了翻译后的序列能够以高保真度被重建回原始域。
• 该架构是首个将CycleGAN应用于多变量时间序列数据的模型，为工业时间序列中的域自适应建立了新的基线。
• 在合成数据上的验证结果证实了该模型在炼铁工艺不同运行模式间具备良好的泛化能力。