[논문 리뷰] A Causal-based Framework for Multimodal Multivariate Time Series Validation Enhanced by Unsupervised Deep Learning as an Enabler for Industry 4.0

Cédric Schockaert|arXiv (Cornell University)|2020. 08. 05.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 산업 환경에서 이종 데이터(예: 이미지, 시계열, 음성)로부터 개별적 맥락 표현을 학습하기 위해 비지도 딥러닝, 특히 장기 기억 순환 신경망 오토인코더를 사용하는 원인 기반 프레임워크를 제안한다. 이 프레임워크는 관찰 데이터 내의 원인 관계를 식별함으로써 비지도 루트 코스 분석을 가능하게 하여 모델의 강건성 향상과 산업 4.0 응용 분야에서 알려지지 않은 프로세스 동역학을 도메인 전문가가 발견하는 데 기여한다.

ABSTRACT

An advanced conceptual validation framework for multimodal multivariate time series defines a multi-level contextual anomaly detection ranging from an univariate context definition, to a multimodal abstract context representation learnt by an Autoencoder from heterogeneous data (images, time series, sounds, etc.) associated to an industrial process. Each level of the framework is either applicable to historical data and/or live data. The ultimate level is based on causal discovery to identify causal relations in observational data in order to exclude biased data to train machine learning models and provide means to the domain expert to discover unknown causal relations in the underlying process represented by the data sample. A Long Short-Term Memory Autoencoder is successfully evaluated on multivariate time series to validate the learnt representation of abstract contexts associated to multiple assets of a blast furnace. A research roadmap is identified to combine causal discovery and representation learning as an enabler for unsupervised Root Cause Analysis applied to the process industry.

연구 동기 및 목표

• 데이터 이질성과 레이블 부족으로 전통적 분석이 어려운 산업 프로세스에서 복잡한 이종 다변량 시계열 데이터를 검증하는 데 도전하는 것.
• 단변량 데이터 분석에서 추상적 맥락 표현 및 원인 발견에 이르는 계층적 검증 프레임워크를 개발하는 것.
• 관찰 데이터 내에서 표현 학습과 원인 발견을 융합함으로써 비지도 루트 코스 분석을 가능하게 하는 것.
• 데이터 기반의 설명 가능 방법을 통해 도메인 전문가가 산업 프로세스 내에서 알려지지 않은 원인 관계를 식별하는 데 기여하는 것.
• 원인 검증을 통해 편향된 학습 데이터를 탐지하고 제거함으로써 모델 신뢰도를 향상시키는 것.

제안 방법

• 이종 이종 다변량 시계열 데이터(예: 센서 읽기, 이미지, 오디오)로부터 저차원의 추상적 맥락 표현을 학습하기 위해 장기 기억 순환 신경망(LSTM) 오토인코더를 활용한다.
• 단일 수준의 프레임워크를 구성: 단변량 맥락 분석, 이종 다변량 추상 맥락 표현, 관찰 데이터 기반 원인 발견.
• 레이블이 없는 이상치가 필요 없이 다양한 데이터 모odal 간의 복잡한 종속성을 캡처하기 위해 비지도 표현 학습을 적용한다.
• 관찰 데이터에 원인 발견 기법을 적용하여 원인 구조를 추론하고, 허위 상관관계 또는 편향된 데이터 샘플을 탐지한다.
• 노출된 원인 관계를 검증 및 해석하기 위해 도메인 전문가 피드백을 통합한다.
• 역사적 데이터 및 실시간 데이터 처리를 모두 지원하여 산업 시스템에서 실시간 이상 탐지 및 모델 모니터링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 산업 프로세스에서 유입되는 이종 다변량 시계열 데이터는 어떻게 계층적이고 맥락 인식 가능한 방식으로 검증될 수 있는가?
• RQ2 비지도 딥러닝, 특히 LSTM 오토인코더는 이종 데이터 소스로부터 어떻게 유의미한 추상 맥락 표현을 효과적으로 학습할 수 있는가?
• RQ3 관찰 데이터 기반 원인 발견은 편향된 학습 샘플을 식별하고 제거함으로써 기계 학습 모델의 신뢰도를 향상시킬 수 있는가?
• RQ4 표현 학습과 원인 추론의 통합은 어떻게 복잡한 산업 시스템에서 비지도 루트 코스 분석을 가능하게 하는가?
• RQ5 이 프레임워크는 도메인 전문가가 프로세스 데이터 내에서 이전에 알려지지 않은 원인 관계를 발견하는 데 어떤 역할을 하는가?

주요 결과

• LSTM 오토인코더는 고로의 여러 자산에서 수집된 다변량 시계열 데이터로부터 의미 있는 추상 맥락 표현을 성공적으로 학습하였다.
• 프로세스 자산 간에 학습된 추상 맥락의 이탈을 분석함으로써 프레임워크가 이상 탐지 가능성을 입증하였다.
• 관찰 데이터 기반 원인 발견은 허위 상관관계 및 잠재적 데이터 편향을 식별함으로써 모델 일반화 능력을 향상시켰다.
• 표현 학습과 원인 발견의 통합은 공정 산업에서 비지도 루트 코스 분석으로 이르는 길을 제공한다.
• 프레임워크는 역사적 데이터 및 실시간 데이터 처리를 모두 지원하여 산업 4.0 환경에서 실시간 검증 및 모니터링을 가능하게 한다.
• 연구 로드맵은 향후 설명 가능하고 강건한 산업용 AI 시스템 개발을 위한 원인 발견과 표현 학습 간의 유망한 융합 가능성을 밝혔다.