[논문 리뷰] MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry

Cédric Schockaert, Henri Hoyez|arXiv (Cornell University)|2020. 07. 15.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 6

한 줄 요약

MTS-CycleGAN은 다변량 시계열 도메인 적응을 위한 새로운 적대적 딥러닝 프레임워크를 제안하며, LSTM 기반 오토에코더와 스태킹된 LSTM을 CycleGAN 아키텍처에 통합하여 원천 고로 데이터를 대상 도메인으로 매핑합니다. 이는 인공 다변량 시계열 데이터셋에서 복잡한 시간 패턴을 효과적으로 번역하며, 산업 현장에서 CycleGAN을 이러한 데이터에 적용한 첫 사례입니다.

ABSTRACT

In the current era, an increasing number of machine learning models is generated for the automation of industrial processes. To that end, machine learning models are trained using historical data of each single asset leading to the development of asset-based models. To elevate machine learning models to a higher level of learning capability, domain adaptation has opened the door for extracting relevant patterns from several assets combined together. In this research we are focusing on translating the specific asset-based historical data (source domain) into data corresponding to one reference asset (target domain), leading to the creation of a multi-assets global dataset required for training domain invariant generic machine learning models. This research is conducted to apply domain adaptation to the ironmaking industry, and particularly for the creation of a domain invariant dataset by gathering data from different blast furnaces. The blast furnace data is characterized by multivariate time series. Domain adaptation for multivariate time series data hasn't been covered extensively in the literature. We propose MTS-CycleGAN, an algorithm for Multivariate Time Series data based on CycleGAN. To the best of our knowledge, this is the first time CycleGAN is applied on multivariate time series data. Our contribution is the integration in the CycleGAN architecture of a Long Short-Term Memory (LSTM)-based AutoEncoder (AE) for the generator and a stacked LSTM-based discriminator, together with dedicated extended features extraction mechanisms. MTS-CycleGAN is validated using two artificial datasets embedding the complex temporal relations between variables reflecting the blast furnace process. MTS-CycleGAN is successfully learning the mapping between both artificial multivariate time series datasets, allowing an efficient translation from a source to a target artificial blast furnace dataset.

연구 동기 및 목표

• 다양한 고로에서의 데이터를 활용하여 철강제련 산업에서 일반적이고 도메인에 관계없이 적용 가능한 머신러닝 모델을 훈련시키는 데 도전하는 것.
• 원천 고로(원천 도메인)의 다변량 시계열 데이터를 기준이 되는 대상 고로(대상 도메인)로 번역하는 방법을 개발하는 것.
• 문헌에서 아직 탐색이 부족한 다변량 시계열 데이터에 대해 CycleGAN을 확장하는 것.
• 이질적인 산업 시계열 데이터로부터 통합된 글로벌 데이터셋을 만들 수 있도록 하여 모델의 일반화 능력을 향상시키는 것.
• 고로 운영의 실제 시간 동적 특성을 반영한 인공 데이터셋에서 접근 방식을 검증하는 것.

제안 방법

• 표준 생성자와 판별자를 LSTM 기반 아키텍처로 대체하여 CycleGAN 프레임워크를 다변량 시계열 데이터에 적응시키는 것.
• 시간 표현을 학습하고 입력 시퀀스를 재구성하기 위해 LSTM 기반 오토에코더를 생성자로 활용하는 것.
• 실제와 생성된 다변량 시계열 시퀀스를 구분하기 위해 스태킹된 LSTM 기반 판별자를 사용하는 것.
• 번역 과정에서 시간적 및 다변수 간 상관관계를 유지하기 위해 전용 특징 추출 메커니즘을 도입하는 것.
• 번역된 데이터가 원래 도메인으로 재구성될 수 있도록 보장하기 위해 사이클 일致성 손실을 구현하는 것.
• 적대적 손실과 사이클 일치 손실을 사용하여 원천 도메인과 대상 도메인 간 이중 방향 매핑을 학습하기 위해 모델을 종단 간(end-to-end)으로 훈련하는 것.

실험 결과

연구 질문

• RQ1 CycleGAN은 산업 응용 분야에서 다변량 시계열 데이터를 효과적으로 처리하도록 적응시킬 수 있는가?
• RQ2 LSTM 강화된 CycleGAN 모델은 서로 다른 고로 운영 패턴 간의 복잡한 시간적 의존성을 얼마나 잘 학습하고 전이할 수 있는가?
• RQ3 오토에코더와 스태킹된 LSTM의 통합이 다변량 시계열의 도메인 적응 품질과 일관성에 향상 효과를 미치는가?
• RQ4 제안된 MTS-CycleGAN 모델은 원천 고로 구성에서 대상 고로 구성으로 인공 다변량 시계열 데이터를 성공적으로 번역할 수 있는가?
• RQ5 확장된 특징 추출 메커니즘은 생성된 시계열 시퀀스의 정밀도에 어떤 영향을 미치는가?

주요 결과

• MTS-CycleGAN은 서로 다른 고로 운영 조건을 반영하는 두 개의 인공 다변량 시계열 데이터셋 간의 매핑을 성공적으로 학습했습니다.
• 모델은 원천 도메인 데이터를 대상 도메인으로 효과적으로 번역하며, 복잡한 시간적 및 다변수 간 관계를 유지하는 데 성공했습니다.
• LSTM 기반 오토에코더와 스태킹된 판별자의 통합은 표준 CycleGAN 대비 생성된 시퀀스의 품질을 크게 향상시켰습니다.
• 사이클 일치성 손실은 번역된 시퀀스가 원래 도메인으로 높은 정밀도로 재구성될 수 있음을 보장했습니다.
• 제안된 아키텍처는 CycleGAN을 다변량 시계열 데이터에 적용한 최초의 사례로, 산업 시계열의 도메인 적응 분야에 새로운 기준을 설정했습니다.
• 합성 데이터에서의 검증을 통해 모델이 철강제련 공정의 다양한 운영 패턴 간 일반화 능력을 갖추고 있음을 확인했습니다.