[论文解读] A Causal-based Framework for Multimodal Multivariate Time Series Validation Enhanced by Unsupervised Deep Learning as an Enabler for Industry 4.0

Cédric Schockaert|arXiv (Cornell University)|Aug 5, 2020

Anomaly Detection Techniques and Applications参考文献 29被引用 4

一句话总结

本文提出了一种基于因果关系的框架，用于在工业环境中使用无监督深度学习对多模态多变量时间序列进行验证，具体采用长短期记忆自编码器从异构数据（例如图像、时间序列、声音）中学习抽象上下文表征。该框架通过识别观测数据中的因果关系，实现无监督的根本原因分析，提升模型鲁棒性，并支持领域专家在工业4.0应用中发现未知的过程动态。

ABSTRACT

An advanced conceptual validation framework for multimodal multivariate time series defines a multi-level contextual anomaly detection ranging from an univariate context definition, to a multimodal abstract context representation learnt by an Autoencoder from heterogeneous data (images, time series, sounds, etc.) associated to an industrial process. Each level of the framework is either applicable to historical data and/or live data. The ultimate level is based on causal discovery to identify causal relations in observational data in order to exclude biased data to train machine learning models and provide means to the domain expert to discover unknown causal relations in the underlying process represented by the data sample. A Long Short-Term Memory Autoencoder is successfully evaluated on multivariate time series to validate the learnt representation of abstract contexts associated to multiple assets of a blast furnace. A research roadmap is identified to combine causal discovery and representation learning as an enabler for unsupervised Root Cause Analysis applied to the process industry.

研究动机与目标

• 解决在工业过程中验证复杂、多模态多变量时间序列数据的挑战，其中数据异质性及缺乏标签阻碍了传统分析方法的应用。
• 开发一种分层验证框架，涵盖从单变量数据分析到抽象上下文表征及因果发现的全过程。
• 通过将表征学习与观测数据中的因果发现相结合，实现无监督的根本原因分析。
• 通过数据驱动且可解释的方法，支持领域专家识别工业过程中的未知因果关系。
• 通过因果验证检测并排除有偏训练数据，提升模型可靠性。

提出的方法

• 利用长短期记忆（LSTM）自编码器，从异构的多模态时间序列数据（例如传感器读数、图像、音频）中学习低维抽象上下文表征。
• 构建多层级框架：单变量上下文分析、多模态抽象上下文表征、以及从观测数据中进行因果发现。
• 应用无监督表征学习，以在无需标注异常样本的情况下捕捉跨多样化数据模态的复杂依赖关系。
• 在观测数据上应用因果发现技术，以推断因果结构，并检测虚假相关性或有偏数据样本。
• 通过向领域专家展示发现的因果关系以供验证与解释，实现专家反馈的整合。
• 支持历史数据与实时数据的处理，实现在工业系统中实时异常检测与模型监控。

实验结果

研究问题

• RQ1 如何以分层且上下文感知的方式验证来自工业过程的多模态多变量时间序列数据？
• RQ2 无监督深度学习（特别是LSTM自编码器）在多源异构数据上有效学习抽象上下文表征的程度如何？
• RQ3 能否通过从观测数据中进行因果发现，识别并排除有偏训练样本，从而提升机器学习模型的可靠性？
• RQ4 表征学习与因果推断的结合如何实现复杂工业系统中的无监督根本原因分析？
• RQ5 该框架在帮助领域专家揭示过程数据中先前未知的因果关系方面发挥何种作用？

主要发现

• LSTM自编码器成功从高炉多个设备采集的多变量时间序列数据中学习到有意义的抽象上下文表征。
• 该框架在通过分析不同工艺设备间学习到的抽象上下文的偏差情况方面，展示了检测异常的可行性。
• 从观测数据中进行因果发现，有助于识别虚假相关性及潜在的数据偏差，从而提升模型泛化能力。
• 表征学习与因果发现的结合为流程工业中实现无监督根本原因分析提供了可行路径。
• 该框架支持历史数据与实时数据处理，实现在工业4.0环境中的实时验证与监控。
• 研究路线图揭示了因果发现与表征学习之间具有巨大潜力的协同效应，为未来可解释、高鲁棒性工业AI系统的发展指明了方向。