[論文レビュー] Adaptive Anomaly Detection in Chaotic Time Series with a Spatially Aware Echo State Network

Niklas Heim, James Emil Avery|arXiv (Cornell University)|Sep 2, 2019

Neural Networks and Reservoir Computing参考文献 16被引用数 7

ひとこと要約

本稿では、物理的メカニズムが未知の高次元で混沌とした海洋シミュレーションデータにおける適応的異常検出を目的として、空間的に留意されたエコー状態ネットワーク（ESN）を提案する。空間的に強化された入力マッピングと空間的に留意された損失関数を用いることで、予測精度が向上し、予測誤差のしきい値を用いた異常検出が可能になる。この手法により、最小限の誤検出で気候モデルデータにおける二峰性の黒潮渦の遷移を的確に同定できた。

ABSTRACT

This work builds an automated anomaly detection method for chaotic time series, and more concretely for turbulent, high-dimensional, ocean simulations. We solve this task by extending the Echo State Network by spatially aware input maps, such as convolutions, gradients, cosine transforms, et cetera, as well as a spatially aware loss function. The spatial ESN is used to create predictions which reduce the detection problem to thresholding of the prediction error. We benchmark our detection framework on different tasks of increasing difficulty to show the generality of the framework before applying it to raw climate model output in the region of the Japanese ocean current Kuroshio, which exhibits a bimodality that is not easily detected by the naked eye. The code is available as an open source Python package, Torsk, available at https://github.com/nmheim/torsk, where we also provide supplementary material and programs that reproduce the results shown in this paper.

研究の動機と目的

• 物理的知識を前提としない、混沌とした高次元の海洋シミュレーションデータに対する自動異常検出フレームワークの開発。
• 予測可能性によって定義される正常行動を有する、湍流的で時空間的変動が激しい気候データにおける文脈的異常の検出という課題に対処すること。
• 空間相関を持つデータに対してより良い一般化性能を達成するため、入力表現および損失関数の両方に空間的構造を組み込むことで、標準的なESNを改善すること。
• 予測誤差のしきい値と空間的異常度数を用いて、黒潮渦のような複雑な海洋系における異常の局所化を実現すること。

提案手法

• 画像のような時系列データにおける空間相関を捉えるために、畳み込み、勾配、コサイン変換などの空間的に留意された入力マップをエコー状態ネットワークに拡張する。
• 空間的近接度に基づいて誤差をペナルティ化する空間的に留意された損失関数を採用し、空間パターン全体にわたる一般化能力を向上させる。
• 正常性を予測可能性によって定義する：最近の誤差履歴と比較して予測誤差が期待される範囲内に収まれば、その時刻は正常とみなす。
• 正常性の度合いを定量化するための正規化スコア $\Sigma_t = 1 - \text{erf}\left(\frac{\max(0, \mu_m - \mu_n)}{\sqrt{2}\sigma_m}\right)$ を用いる。ここで $\mu_m$ と $\sigma_m$ は長期間の誤差ウィンドウの平均および標準偏差であり、$\mu_n$ は短い将来ウィンドウの平均である。
• 海面高シミュレーションにおける異常検出にこの手法を適用し、画素単位の異常度数を計算することで、注目領域を局所化する。
• 効率的な実装と再現可能性を実現するため、カスタムオープンソースPythonパッケージTorskを活用しており、将来的にはGPUおよび分散処理システムへのスケーリングを計画している。

実験結果

リサーチクエスチョン

• RQ1 物理的メカニズムが未知の高次元で混沌とした海洋シミュレーションにおいて、空間的に強化されたエコー状態ネットワークが効果的に異常検出を可能にするか。
• RQ2 入力マップおよび損失関数に空間的構造を組み込むことで、標準的なESNと比較して予測精度および異常検出性能がどの程度向上するか。
• RQ3 予測誤差のしきい値と空間的異常度数を用いることで、事前にラベル付けされていない既知の異常（例：二峰性の黒潮渦）をどの程度正確に局所化できるか。
• RQ4 湍流および空間パターンの混沌とした変位に対して、この手法はどの程度頑健であり、湍流領域で誤検出を回避できるか。
• RQ5 このフレームワークは、未知の海洋現象の発見を目的とした、完全なグローバル海洋シミュレーションの解析にスケーラブルに拡張可能か。

主な発見

• 空間的に留意されたESNは、900変数の海洋シミュレーションデータにおいて高い精度の予測を達成し、予測誤差のしきい値による信頼性の高い異常検出を可能にした。
• この手法により、日本の海洋領域における黒潮渦の二峰性遷移が的確に検出され、シミュレーションの約5475日目に異常を特定した。これは既知の物理的遷移と一致した。
• 異常度数マップにより、黒潮領域の局所化が高精度で実現され、サイクルベースの予測手法とは異なり、湍流領域での誤検出が最小限に抑えられた。
• 正常性スコア $\Sigma_t$ は、誤差が最近の履歴と比較して増加した場合に異常の可能性が高い（$\Sigma_t \approx 0$）ことを的確に識別した。
• Torskを用いたフレームワークはスケーラビリティの可能性を示し、将来的なGPUへの移植により、大規模かつ多変数の気候シミュレーションへの対応が可能になる。
• サイクルベースの予測手法と比較して、本手法は著しく低い誤検出率と真の異常のより正確な局所化を示した。