[論文レビュー] PIDForest: Anomaly Detection via Partial Identification

Parikshit Gopalan, Vatsal Sharan+1 more|arXiv (Cornell University)|Dec 8, 2019

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

PIDForestは、特徴空間の部分立方体におけるスパarsityに基づいて異常を特定する幾何的尺度であるPIDScoreを用いる、異常検出のための新規アルゴリズムである。ランダムフォレストフレームワーク内で分散に基づく分割選択とスパarsityに基づくリーフラベル付けを最適化することで、12個の実世界データセットにおいて6つのベンチマーク手法を上回り、ノイズや不要な特徴に対して高い耐性を示すとともに、重要な特徴範囲を提示することで解釈可能で明確な説明を提供する。

ABSTRACT

We consider the problem of detecting anomalies in a large dataset. We propose a framework called Partial Identification which captures the intuition that anomalies are easy to distinguish from the overwhelming majority of points by relatively few attribute values. Formalizing this intuition, we propose a geometric anomaly measure for a point that we call PIDScore, which measures the minimum density of data points over all subcubes containing the point. We present PIDForest: a random forest based algorithm that finds anomalies based on this definition. We show that it performs favorably in comparison to several popular anomaly detection methods, across a broad range of benchmarks. PIDForest also provides a succinct explanation for why a point is labelled anomalous, by providing a set of features and ranges for them which are relatively uncommon in the dataset.

研究の動機と目的

• 大規模システム（データセンターなど）で一般的に見られる高次元で異種性があり、ラベルなしのデータセットにおける異常検出の課題に対処すること。
• アルゴリズム実装とは独立した明確で幾何的定義による異常の定義を提供し、解釈可能性と原理的検出を可能にすること。
• 分散に基づく分割選択により、不要な特徴やノイズに強くするようにIsolation Forestを改善すること。
• 生成モデルや距離メトリクスに依存しない、スケーラブルで効率的かつ解釈可能な異常検出手法を開発すること。
• 多様な実データおよび合成データセットにおいて、さまざまなハイパーパrameter設定下でも優れた性能と安定性を示すことを実証すること。

提案手法

• PIDScoreを幾何的異常尺度として提案：与えられた点を含むすべての部分立方体における最大スパarsity（体積／点数）を定義する。
• 分散を最大化するように分割を選び、情報量が多く非一様な特徴を優先するランダムフォレストとしてPIDForestを設計する。
• 各リーフノードをそのリーフが表す部分立方体のスパarsityでラベル付けし、異常スコアを点が到達するすべてのリーフにおける最大スパarsityとして計算する。
• 特徴のマージナル分散が大きいものを優先する貪欲でランダム化された木構築プロセスを採用し、関連する属性の検出を強化する。
• 距離メトリクスに依存しない部分立方体ベースの密度推定戦略を採用し、単位に依存せず、混合型データに適したものとする。
• ハイパーパramータ（例：バケツ数、木の数、深さ）が中程度の閾値を超えると性能にほとんど影響を及ぼさない、耐性メカニズムを導入する。

実験結果

リサーチクエスチョン

• RQ1 PIDScoreのような幾何的・密度ベースの異常尺度は、アルゴリズム実装とは独立した原理的で解釈可能な異常の定義を提供できるか？
• RQ2 PIDForestの分散に基づく分割戦略は、Isolation Forestにおけるランダム分割や範囲ベース分割と比較して、不要な特徴やノイズに対してどのように耐性を高めているか？
• RQ3 PIDForestは、多様な実世界および合成データセットにおいて、既存の異常検出アルゴリズムをどの程度上回っているか？
• RQ4 木の数、深さ、バケツ数といった主要なハイパーパramータの変動に対して、PIDForestの性能はどの程度安定しているか？
• RQ5 PIDForestは、異常スコアに寄与する特定の特徴範囲を特定することで、人間が解釈可能な説明を提供できるか？

主な発見

• PIDForestは12個の実世界ベンチマークデータセットのうち6つで最高の性能を達成し、6つの一般的な異常検出アルゴリズムを上回った。他の手法では3つ以上のデータセットで首位を獲得したことはなかった。
• ノイズや不要な属性に対して強い耐性を示し、特徴の50％が不要であっても高い性能を維持した。
• ハイパーパramータ感度分析の結果、k（バケツ数）、m（サンプル数）、t（木の数）、h（木の深さ）の値が中程度の水準に達すると性能が安定し、それ以上の変化はほとんど見られなかった。
• PIDForestは、高次元で異種性のある特徴を持つデータセットにおいて、特に不要またはノイズの多い次元が存在する状況でIsolation Forestを顕著に上回った。
• 合成時系列実験では、ノイズレベルやデータ分布が変化しても高い精度と再現率を維持し、耐性と一般化能力を確認した。
• PIDForestは、特徴の特定の範囲が異常スコアに寄与していることを特定することで、実世界の監視システムにおけるトラブルシューティング用途での有用性を高めた。