[論文レビュー] Merlion: A Machine Learning Library for Time Series

Aadyot Bhatnagar, Paul Kassianik+21 more|arXiv (Cornell University)|Sep 20, 2021

Time Series Analysis and Forecasting参考文献 30被引用数 18

ひとこと要約

Merlion は、時系列予測および異常検知のための統合的で生産環境対応のフレームワークを提供するオープンソースの Python ライブラリであり、標準化されたデータ処理、AutoML、モデルアンサンブル、およびリアルな評価を可能にするライブ再トレーニングシミュレーションを備えている。Merlion は多様なデータセットにおいて堅牢なパフォーマンスを発揮し、提案されたアンサンブルモデルが F1 スコアの整合性と一般化性能において、個々のモデルを常に上回っている。

ABSTRACT

We introduce Merlion, an open-source machine learning library for time series. It features a unified interface for many commonly used models and datasets for anomaly detection and forecasting on both univariate and multivariate time series, along with standard pre/post-processing layers. It has several modules to improve ease-of-use, including visualization, anomaly score calibration to improve interpetability, AutoML for hyperparameter tuning and model selection, and model ensembling. Merlion also provides a unique evaluation framework that simulates the live deployment and re-training of a model in production. This library aims to provide engineers and researchers a one-stop solution to rapidly develop models for their specific time series needs and benchmark them across multiple time series datasets. In this technical report, we highlight Merlion's architecture and major functionalities, and we report benchmark numbers across different baseline models and ensembles.

研究の動機と目的

• 産業ワークフローにおける時系列機械学習のための標準化され、生産環境対応のツールの不足に対処すること。
• 単一で拡張可能なインターフェースの下で、予測および異常検知のための多様なモデルとデータセットを統合すること。
• 異常スコアの後処理ルールを通じて、モデルの解釈可能性を向上させ、誤検出率を低減すること。
• AutoML モジュールを介して、自動的なハイパーパramータチューニングとモデル選択を可能にすること。
• 生産環境でのライブデプロイメントと再トレーニングをシミュレートする、リアルな評価フレームワークを提供すること。

提案手法

• 単変量および多変量時系列の両方において、データの読み込み、前処理、学習、評価のための統一された API を実装すること。
• 統計的手法（Isolation Forest、Random Cut Forest）、ディープラーニング（LSTMオートエンコーダ、VAE、DAGMM）、古典的手法（Prophet、pmdarima）を含む、一連のモデルを統合すること。
• しきい値のキャリブレーションやスムージングなどの後処理ルールを適用して、異常スコアの解釈可能性を向上させ、誤検出を低減すること。
• 複数のモデル（例：RCF + VAE）の出力をアンサンブル学習で統合することで、より高いロバスト性と一般化性能を達成すること。
• 定期的（例：週単位）にモデルを再トレーニングし、ローリングウィンドウ上でパフォーマンスを評価することで、実世界のデプロイメントをシミュレートすること。
• 予測結果および異常スコアの可視化をサポートすることで、定性的な分析やデバッグを支援すること。

実験結果

リサーチクエスチョン

• RQ1 統合的で拡張可能なフレームワークは、多様なデータセットにおける時系列モデルの開発およびベンチマーク化をどの程度改善できるか？
• RQ2 AutoML は、さまざまな予測および異常検知タスクにおいて、モデルパフォーマンスをどの程度向上させるか？
• RQ3 後処理ルールは、F1 スコアを維持または向上させつつ、誤検出率を顕著に低減できるか？
• RQ4 モデルアンサンブルは、複数の時系列データセットにわたって一貫性があり、ロバストなパフォーマンスを達成するのにどの程度有効か？
• RQ5 シミュレートされた生産パイプラインにおける定期的再トレーニングは、モデルの一般化性能および安定性に測定可能な改善をもたらすか？

主な発見

• Merlion のアンサンブルモデルは、各データセットで最もパフォーマンスの良かったモデルとの F1 スコア差が平均で最小（0.051 ± 0.038）となり、一貫性において個々のモデルを上回った。
• LSTM エンコーダデコーダモデルは MSL データセットで最高の F1 スコア（0.381）を達成したが、Random Cut Forest は SMD データセットで最高（0.500）を記録し、モデルの性能がデータセットに依存することを示した。
• 週単位でのモデル再トレーニングは、大多数のモデルにおいて F1 パフォーマンスに統計的に有意な影響を及ぼさなかった（p > 0.05）が、DAGMM のみが有意差を示した（p = 0.032）ことから、この設定では頻繁な再トレーニングに限られた利点があると考えられる。
• AutoML モジュールは、複数の予測モデルにおいて一貫してパフォーマンスを向上させ、ハイパーパramータ最適化における価値を示した。
• 後処理ルールは解釈性を顕著に向上させ、誤検出率を低減し、生産環境での実用性を向上させた。
• Merlion の評価パイプラインは、実世界のデプロイメントを効果的にシミュレートでき、複数のデータセットおよびモデル設定における信頼性の高いベンチマークが可能になった。