[論文レビュー] Sparse Representation of Multivariate Extremes with Applications to Anomaly Ranking

Nicolas Goix, Anne Sabourin+1 more|arXiv (Cornell University)|Mar 31, 2016

Anomaly Detection Techniques and Applications被引用数 14

ひとこと要約

本稿では、多変量極値理論を活用して極値が集中する部分空間を特定することで、スパースで低次元の多変量極値表現を学習する、新しい非教師あり異常ランク付け手法DAMEXを提案する。DAMEXは、極値方向における角測度と非パラメトリックなクラスタリング手法を活用し、パラメトリックな尾部モデルを仮定せず、iForestなどの既存の異常検出アルゴリズムと効果的に統合可能であり、特に低誤検出率での異常検出精度を向上させる。

ABSTRACT

Extremes play a special role in Anomaly Detection. Beyond inference and simulation purposes, probabilistic tools borrowed from Extreme Value Theory (EVT), such as the angular measure, can also be used to design novel statistical learning methods for Anomaly Detection/ranking. This paper proposes a new algorithm based on multivariate EVT to learn how to rank observations in a high dimensional space with respect to their degree of 'abnormality'. The procedure relies on an original dimension-reduction technique in the extreme domain that possibly produces a sparse representation of multivariate extremes and allows to gain insight into the dependence structure thereof, escaping the curse of dimensionality. The representation output by the unsupervised methodology we propose here can be combined with any Anomaly Detection technique tailored to non-extreme data. As it performs linearly with the dimension and almost linearly in the data (in O(dn log n)), it fits to large scale problems. The approach in this paper is novel in that EVT has never been used in its multivariate version in the field of Anomaly Detection. Illustrative experimental results provide strong empirical evidence of the relevance of our approach.

研究の動機と目的

• 高次元データにおける多変量極値理論（EVT）の異常検出（AD）への応用が不足しているという問題に対処すること。
• 極値観測値を支持する低次元部分空間を特定することで、多変量極値のモデリングにおける次元の呪いを克服すること。
• 異常が少数であるデータセットを扱い、外れ値に過剰に適合しない、頑健な非パラメトリックな手法を開発すること。
• 極値の依存構造に基づいてスパースな「通常状態のプロファイル」を学習することで、既存のADアルゴリズムの精度を向上させること。
• EVTと次元削減およびスパース表現を組み合わせることで、大規模かつ高次元のデータセットにおける効果的な異常ランク付けを可能にすること。

提案手法

• L-infinityノルムによるしきい値処理 $\|\mathbf{X}\|_\infty \geq \mathbf{u}$ を用いて、多変量ピークオーバーサービス（POT）モデリングを適用し、極値観測値を同定する。
• 極値領域内の単位ベクトルの非パラメトリックなクラスタリングにより、極値方向の角測度を推定し、支配的となる部分空間を特定する。
• 外れ値に過剰に適合しないよう粗い、頑健な推定スキームを用いることで、特に訓練データに潜在的な異常が存在する非教師あり設定でも安定性を確保する。
• 極値データ質量の大部分を捉える低次元の部分錐（部分空間）を特定することで、多変量極値のスパース表現を学習する。
• 得られたスパース表現をスコア関数として統合し、新しい観測値の極値度合いに応じてランク付け可能であり、任意のベースADアルゴリズムと組み合わせ可能である。
• パラメータ $k$ と $\epsilon$ はそれぞれ $[n^{1/4}, n^{2/3}]$ および $[0.0001, 0.1]$ の範囲で安定性解析により最適化され、$\mu_{\min}$ は非空の部分錐ごとの平均質量に設定される。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおいて、多変量極値理論を効果的に活用して多変量極値のスパースで低次元の表現を学習できるか？
• RQ2 次元が高くなる状況でも、特にパラメトリックな形を仮定せずに、極値観測値の依存構造を回復できるか？
• RQ3 極値のスパースな「通常状態のプロファイル」を学習することで、教師ありおよび非教師ありの両設定において、異常検出アルゴリズムの精度がどの程度向上するか？
• RQ4 異常率が低く、高次元ノイズが存在する状況下で、本手法は誤検出が高コストとなる状況でも効果的に機能するか？
• RQ5 訓練セットに少数の異常が含まれるデータセットを、性能劣化を伴わず頑健に処理できるか？

主な発見

• DAMEXは、特に高再現率（低誤検出率）の状況で異常ランク付けの精度を顕著に向上させ、複数のデータセットにおいて原点付近でより急勾配のROC曲線を示している。
• シャトルデータセットでは、AUC-ROCを0.996から0.997に、AUC-PRを0.974から0.987に向上させ、一貫した改善が確認された。
• フォレストカバー・データセットでは、AUC-PRを0.193から0.363に向上させ、0.9％の低異常率下でも精度の大幅な向上を示した。
• SFデータセットでは、AUC-PRを0.041から0.694に向上させ、高次元で現実のインシデント検出シナリオにおいて優れた性能を示した。
• SAデータセットでは、AUC-PRを0.387から0.892に向上させ、1％の異常率と複雑な依存構造を有するシナリオでも有効性が顕著に現れた。
• smtpデータセットでは性能向上が見られなかったが、これは極値的尾部が存在しないか、またはゆっくり収束する正則変動尾部である可能性が高く、極値的依存性が欠如または弱い場合に限界が現れることを示唆している。