[論文レビュー] MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry

Cédric Schockaert, Henri Hoyez|arXiv (Cornell University)|Jul 15, 2020

Anomaly Detection Techniques and Applications参考文献 20被引用数 6

ひとこと要約

MTS-CycleGANは、LSTMベースのオートエンコーダーとスタックドLSTMをCycleGANアーキテクチャに統合することで、マルチ変数時系列データのドメイン適応のための画期的な対抗的深層学習フレームワークを提案する。本手法は、人工的なマルチ変数時系列データセットを用いて、複雑な時間的パターンの効果的な変換を実現し、産業分野におけるこのようなデータへのCycleGANの初めての適用を記録している。

ABSTRACT

In the current era, an increasing number of machine learning models is generated for the automation of industrial processes. To that end, machine learning models are trained using historical data of each single asset leading to the development of asset-based models. To elevate machine learning models to a higher level of learning capability, domain adaptation has opened the door for extracting relevant patterns from several assets combined together. In this research we are focusing on translating the specific asset-based historical data (source domain) into data corresponding to one reference asset (target domain), leading to the creation of a multi-assets global dataset required for training domain invariant generic machine learning models. This research is conducted to apply domain adaptation to the ironmaking industry, and particularly for the creation of a domain invariant dataset by gathering data from different blast furnaces. The blast furnace data is characterized by multivariate time series. Domain adaptation for multivariate time series data hasn't been covered extensively in the literature. We propose MTS-CycleGAN, an algorithm for Multivariate Time Series data based on CycleGAN. To the best of our knowledge, this is the first time CycleGAN is applied on multivariate time series data. Our contribution is the integration in the CycleGAN architecture of a Long Short-Term Memory (LSTM)-based AutoEncoder (AE) for the generator and a stacked LSTM-based discriminator, together with dedicated extended features extraction mechanisms. MTS-CycleGAN is validated using two artificial datasets embedding the complex temporal relations between variables reflecting the blast furnace process. MTS-CycleGAN is successfully learning the mapping between both artificial multivariate time series datasets, allowing an efficient translation from a source to a target artificial blast furnace dataset.

研究の動機と目的

• 鉄鋼製造業界における汎用的でドメイン不変の機械学習モデルを構築する挑戦に、複数の高炉からのデータを活用して対処すること。
• ソース高炉（ソースドメイン）のマルチ変数時系列データを、基準となるターゲット高炉（ターゲットドメイン）に変換する手法を開発すること。
• 文献においてまだ十分に検討されていないマルチ変数時系列データに向けたCycleGANの拡張を図ること。
• 異種の産業的時系列データから統一的かつグローバルなデータセットを構築し、モデルの一般化性能を向上させること。
• 高炉運転における現実的な時間的ダイナミクスを反映した人工データセット上で、手法の有効性を検証すること。

提案手法

• 標準的なジェネレータおよびディスクラミネータの代わりにLSTMベースのアーキテクチャを用いることで、CycleGANフレームワークをマルチ変数時系列データに適応させる。
• 時間的表現を学習し、入力シーケンスを再構築するため、LSTMベースのオートエンコーダーをジェネレータとして採用する。
• 本物のマルチ変数時系列シーケンスと生成されたシーケンスを区別するため、スタックドLSTMベースのディスクラミネータを用いる。
• 翻訳過程で時間的および変数間の依存関係を保持するために、専用の特徴抽出メカニズムを導入する。
• 翻訳されたデータが元のドメインに戻っても再構築可能であることを保証するため、サイクル整合性損失を実装する。
• 対抗的損失とサイクル整合性損失を用いて、エンドツーエンドでモデルを訓練し、ソースドメインとターゲットドメイン間の双方向マッピングを学習する。

実験結果

リサーチクエスチョン

• RQ1 産業的応用において、CycleGANがマルチ変数時系列データを効果的に処理できるか。
• RQ2 LSTM強化型CycleGANモデルは、異なる高炉運転パターン間で複雑な時間的依存関係をどれほど的確に学習・転送できるか。
• RQ3 オートエンコーダーとスタックドLSTMの統合が、マルチ変数時系列におけるドメイン適応の質と一貫性を向上させるか。
• RQ4 提案されたMTS-CycleGANモデルは、ソース高炉構成からターゲット高炉構成への人工マルチ変数時系列データの翻訳を成功裏に実行できるか。
• RQ5 拡張された特徴抽出メカニズムが、生成された時系列シーケンスの忠実度に及ぼす影響は何か。

主な発見

• MTS-CycleGANは、異なる高炉運転条件を反映する2つの人工マルチ変数時系列データセット間のマッピングを効果的に学習した。
• モデルは、複雑な時間的および変数間の関係を保持したまま、ソースドメインのデータをターゲットドメインに効果的に変換した。
• LSTMベースのオートエンコーダーとスタックドディスクラミネータを統合することで、標準的なCycleGANに比べて生成シーケンスの質が顕著に向上した。
• サイクル整合性損失により、翻訳されたシーケンスが元のドメインに高精度で再構築可能であることが保証された。
• 本研究で提案されたアーキテクチャは、マルチ変数時系列データへのCycleGANの適用を初めて実現し、産業的時系列におけるドメイン適応のための新たな基準を確立した。
• 合成データを用いた検証により、鉄鋼プロセスにおける異なる運転パターンにわたる一般化能力がモデルの能力として裏付けられた。