[論文レビュー] Is it worth it? Comparing six deep and classical methods for unsupervised anomaly detection in time series

Ferdinand Rewicki, Joachim Denzler+1 more|arXiv (Cornell University)|Dec 21, 2022

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本研究では、UCR異常アーカイブ上で、3つの古典的手法（RRCF、MDI、MERLIN）と3つのディープラーニング手法（AE、GANF、TranAD）の6つの非教師あり異常検出手法を比較した。結果として、特にMDIとMERLINが、多様な異常タイプにおいてディープラーニングモデルを上回る性能を示し、より深いモデルが優れた性能を発揮するという仮定に疑問を呈するものである。解釈可能性の低下を伴うにもかかわらず、モデルの複雑さが性能向上に直結するとは限らないことが示された。

ABSTRACT

Detecting anomalies in time series data is important in a variety of fields, including system monitoring, healthcare, and cybersecurity. While the abundance of available methods makes it difficult to choose the most appropriate method for a given application, each method has its strengths in detecting certain types of anomalies. In this study, we compare six unsupervised anomaly detection methods of varying complexity to determine whether more complex methods generally perform better and if certain methods are better suited to certain types of anomalies. We evaluated the methods using the UCR anomaly archive, a recent benchmark dataset for anomaly detection. We analyzed the results on a dataset and anomaly type level after adjusting the necessary hyperparameters for each method. Additionally, we assessed the ability of each method to incorporate prior knowledge about anomalies and examined the differences between point-wise and sequence-wise features. Our experiments show that classical machine learning methods generally outperform deep learning methods across a range of anomaly types.

研究の動機と目的

• 非教師あり時系列異常検出において、ディープラーニング手法の複雑さが解釈性の低下を伴うとしても、古典的手法よりも優れた性能を発揮するかどうかを評価すること。
• 万能な手法が存在しない状況において、特定の異常タイプに最も適した異常検出手法を特定すること。
• 特徴表現（ポイントワイズ vs. サブシーケンスワイズ）とハイパーパrameterチューニングの影響が、手法の性能に与える影響を評価すること。
• より洗練されたベンチマーク評価を可能にするために、UCR異常アーカイブに16種類の異常タイプを追加してアノテーションすること。
• ハイパーパrameterチューニングと統一された評価プロトコルを用いた標準化された実験条件下で、公平かつ包括的な比較を提供すること。

提案手法

• 本研究では、6つの最先端の非教師あり異常検出手法を評価した：RRCF（隔離木に基づく）、MDI（最大分散区間）、MERLIN（密度に基づく）、AE（オートエンコーダ）、GANF（グラフ拡張型正規化フロー）、TranAD（トランスフォーマーに基づく）。
• すべての手法は、医療、産業、生物学、気象学の4分野からなる250件の単変量時系列データから成るベンチマークデータセット「UCR異常アーカイブ」上で評価された。
• GANFその他の手法に対してベイズ最適化を用いた広範なハイパーパrameterチューニングを実施し、事前にチューニングが行われていない場合にはデフォルト値を用いた。
• 異常検出性能はF1スコアとUCRスコアを用いて測定され、データセットレベルおよび16種類のアノテート済み異常タイプごとの分析が行われた。
• RRCFに対してポイントワイズ特徴（例：元のデータポイント）とサブシーケンスワイズ特徴（例：スライディングウィンドウ）を比較し、MDIおよびMERLINのサブシーケンス長への感受性を評価した。
• より洗練された分析を可能にするために、UCR異常アーカイブに16種類の異常タイプを追加してアノテーションを拡充した。

実験結果

リサーチクエスチョン

• RQ1 非教師あり時系列異常検出において、ディープラーニング手法の優れた性能が、古典的手法に比べて解釈性の低下を補っても、その複雑さを正当化するものかどうか。
• RQ2 どの異常タイプがどの手法で検出可能か。また、特徴表現（ポイントワイズ vs. サブシーケンスワイズ）が検出能力に与える影響は何か。
• RQ3 ハイパーパrameterチューニングとモデルの複雑さは、古典的手法およびディープラーニングベースの異常検出手法の性能にどのように影響するか。
• RQ4 サブシーケンスベースの手法は「急激な上昇」と「滑らかな上昇」の両方の異常を検出できるか。また、ポイントワイズ特徴を用いる手法とは検出行動にどのような違いがあるか。
• RQ5 どの手法が多様な異常タイプに対して最も頑健であるか。一方で、どの異常タイプはすべてのモデルで一貫して検出されないか。

主な発見

• 古典的手法のMDIとMERLINは、大多数の異常タイプおよびデータセットにおいて、すべてのディープラーニング手法を上回る性能を示し、MDIは全体のF1スコアとUCRスコアで最高を記録した。
• ディープラーニングモデルの中では、GANFが最良の性能を示した。デフォルトハイパーパrameterを用いた場合、UCRスコアが19%低下した。これはハイパーパrameter選択の感受性が顕著に表れている。
• RRCFはポイントワイズ特徴（元のデータポイント）では性能が低かったが、サブシーケンスワイズの統計的特徴を用いることで著しく向上した。これは、特徴工学がモデルの単純さを補う可能性を示している。
• AEはディープラーニング手法の中で最も多くの異常を検出できたが、その性能はMDIおよびMERLINに劣っており、ハイパーパrameter選択に敏感であった。
• すべてのサブシーケンスベースの手法は「急激な上昇」の異常を検出できたが、「滑らかな上昇」の異常には失敗した。一方、ポイントワイズ特徴を用いる手法は逆の挙動を示した。これは、検出メカニズムに根本的な違いがあることを示唆している。
• 「異常パターン」、「タイムシフト」、「逆転」、「平坦」の4つの異常タイプは、6つのモデルすべてで一貫して検出されず、現在の手法の能力に、複雑または微細な時間的逸脱を捉えるためのギャップがあることを示している。