[論文レビュー] Event and Anomaly Detection Using Tucker3 Decomposition

Hadi Fanaee‐T, Márcia Oliveira+3 more|arXiv (Cornell University)|Jun 12, 2014

Blind Source Separation Techniques参考文献 10被引用数 9

ひとこと要約

本稿では、ユーザー、特徴量、時間の3つの次元にわたるユーザー行動をモデル化することで、時間的変化を伴うネットワークデータにおける異常およびイベントの検出を目的としたTucker3テンソル分解手法を提案する。多次元データを低ランク成分に分解することにより、残差解析を通じて異常ユーザーを同定し、その時間的軌道を再構築し、これらの軌道をクラスタリングすることで集団レベルのイベントを検出する。本手法は、孤立した異常および持続的なネットワーク障害の両方を、きわめて頑健に検出することができる。

ABSTRACT

Failure detection in telecommunication networks is a vital task. So far, several supervised and unsupervised solutions have been provided for discovering failures in such networks. Among them unsupervised approaches has attracted more attention since no label data is required. Often, network devices are not able to provide information about the type of failure. In such cases the type of failure is not known in advance and the unsupervised setting is more appropriate for diagnosis. Among unsupervised approaches, Principal Component Analysis (PCA) is a well-known solution which has been widely used in the anomaly detection literature and can be applied to matrix data (e.g. Users-Features). However, one of the important properties of network data is their temporal sequential nature. So considering the interaction of dimensions over a third dimension, such as time, may provide us better insights into the nature of network failures. In this paper we demonstrate the power of three-way analysis to detect events and anomalies in time-evolving network data.

研究の動機と目的

• ラベル付きの障害データに依存せずに、通信ネットワークにおける異常およびイベントの検出に直面する課題に対処すること。
• ネットワークデータの時間的順序性を活用し、ユーザー、特徴量、時間の3次元にわたる相互作用をモデル化すること。
• 主成分分析（PCA）に基づく従来の異常検出手法を改善するため、テンソル分解を用いて高次元構造を統合すること。
• 個々の異常ユーザーの同定に加え、時間経過に伴うユーザー群全体における集合的異常行動（イベント）を同定すること。
• ユーザーの軌道分析による障害タイプの解釈可能性を高めることで、リアルタイムのネットワーク監視フレームワークを提供すること。

提案手法

• ネットワークデータの3次元テンソル（ユーザー × 特徴量 × 時間）にTucker3分解を適用し、低ランクコア成分および因子行列を抽出する。
• Tucker3分解からの再構成誤差を計算して個々の異常を検出する。高い誤差は、異常なユーザー行動を示す。
• 時間経過にわたる特徴量レベルの異常を集約することで、ユーザー固有の軌道を再構築し、ユーザー行動の時間的分析を可能にする。
• ヒエラルヒカルクラスタリング（ユークリッド距離を用いたWardの連結法）をユーザー軌道に適用し、類似した異常パターンを示すユーザーをグループ化する。
• 特定の時間間隔にわたり同期的に異常行動を示すユーザーのクラスタとしてイベントを同定し、視覚的および統計的分析により妥当性を検証する。
• 将来の拡張において、時間シフトがあるが類似した行動パターンを捉えるために、動的時間ワープング（DTW）を代替距離測度として採用する。

実験結果

リサーチクエスチョン

• RQ1 Tucker3分解は、高次元かつ時間的変化を伴うネットワークデータにおける個々の異常を効果的に検出できるか？
• RQ2 テンソル分解から導出されるユーザー軌道は、静的な異常スコアと比較して、異常パターンの解釈をどのように向上させるか？
• RQ3 ユーザー軌道のクラスタリングにより、個々の異常検出では検出できない集団的異常行動（イベント）を特定できるか？
• RQ4 軌道に基づく分析を用いることで、どのような障害パターン（一時的 vs 持続的）を区別できるか？
• RQ5 テンソルベースの手法は、従来のPCAに比べて、ネットワーク障害検出における複雑な多次元相互作用をどのようによりよく捉えられるか？

主な発見

• Tucker3分解により、時間経過にわたる持続的な異常行動を示す23名の異常ユーザー（全ユーザーの2.5%）が正常に同定された。そのうち22名は明確なクラスタを形成しており、安定した問題を示していることが判明した。
• 本手法は、ネットワークに3つの顕著なイベントを検出した。1つ目は時刻350～400の間、2つ目と3つ目はそれぞれ450～480および520～560の間であり、後者の2つは妥当性確認のための仮説検定を要した。
• ユーザー95は2回の孤立した異常ポイントを示しており、一時的な問題を示唆している。一方、ユーザー10は一貫した異常行動を示しており、持続的な問題であると判明した。このような洞察は、軌道分析がなければ得られなかった。
• 青色クラスタ（866名、97.4%）は正常行動を示し、赤（1名）および緑（22名）のクラスタは全時間点で異常パターンを示しており、デバイスレベルまたはシステム全体の問題を示唆している。
• ユーザー軌道のクラスタリングにより、個々の異常スコアからは見えなかった集団レベルのイベントが検出可能であり、時間的文脈の重要性が示された。
• 本手法は、ユーザー、特徴量、時間の3次元にわたる高次元相互作用を捉えることができたため、標準的なPCAに比べて優れた性能を示し、障害タイプに関するより豊かな診断的インサイトを提供した。