[論文レビュー] MCODE: Multivariate Conditional Outlier Detection

Charmgil Hong, Miloš Hauskrecht|arXiv (Cornell University)|May 15, 2015

Anomaly Detection Techniques and Applications参考文献 43被引用数 4

ひとこと要約

MCODEは、分類器チェーンを用いて多変量出力を確率ベクトル空間に写像することで、条件付き外れ値検出を無条件問題に変換する多変量条件付き外れ値検出手法を提案する。これらの条件付き確率ベクトルに対して外れ値スコアリング手法を適用することにより、特にスパースな外れ値において、文脈依存的外れ値の検出が顕著に向上し、複数のデータセットおよび外れ値挿入率においてベースラインを上回る性能を示す。

ABSTRACT

Outlier detection aims to identify unusual data instances that deviate from expected patterns. The outlier detection is particularly challenging when outliers are context dependent and when they are defined by unusual combinations of multiple outcome variable values. In this paper, we develop and study a new conditional outlier detection approach for multivariate outcome spaces that works by (1) transforming the conditional detection to the outlier detection problem in a new (unconditional) space and (2) defining outlier scores by analyzing the data in the new space. Our approach relies on the classifier chain decomposition of the multi-dimensional classification problem that lets us transform the output space into a probability vector, one probability for each dimension of the output space. Outlier scores applied to these transformed vectors are then used to detect the outliers. Experiments on multiple multi-dimensional classification problems with the different outlier injection rates show that our methodology is robust and able to successfully identify outliers when outliers are either sparse (manifested in one or very few dimensions) or dense (affecting multiple dimensions).

研究の動機と目的

• 従来の無条件手法が文脈感受性のため失敗する、文脈依存的外れ値を多変量出力空間で検出する課題に対処すること。
• 複数の出力変数の異常な組み合わせによって定義される外れ値を特定すること、特にこれらの外れ値がスパースであるか、少数の次元に影響を与える場合を想定すること。
• 分類器チェーンから得られる確率ベクトル表現を用いて、条件付き検出問題を無条件問題に変換することで、外れ値検出性能を向上させること。
• 外れ値の影響を受ける次元数や外れ値挿入率が異なる多様な多次元データセットにおいて、MCODEの有効性を評価すること。
• 個別の条件付き確率を別々にモデル化することで、標準ベースラインと比較して微細でスパースな外れ値に対する感度が向上することを示すこと。

提案手法

• 分類器チェーンを用いて出力空間を条件付き確率のベクトルとして表現することで、多変量条件付き外れ値検出問題を無条件問題に変換する。
• 分類器チェーンの分解を用いて、P(y|x)を一変量条件付き確率の積 P(y_i | x, y_π(i)) としてモデル化し、各出力次元を別々に分析可能にする。
• 変換された確率ベクトルに5種類の異なる外れ値スコアリング手法（例：RB、LOF、OCSVM）を適用し、条件付き空間における異常を検出する。
• テストインスタンスの0.5%において、p個の応答次元をランダムに摂動させることで、外れ値パターンのスパarsityの度合いを変化させた合成外れ値を挿入する。
• 外れ値の影響を受ける次元数を増加させた制御された設定下で、AUCおよびAUC-PR指標を用いて性能を評価する。
• 10-fold交差検証を3回繰り返すことで、結果の堅牢性と一般化能力を確保する。

実験結果

リサーチクエスチョン

• RQ1 確率ベクトル表現を用いて条件付き外れ値検出を無条件問題に変換することで、検出性能が向上するか？
• RQ2 外れ値が1つまたは少数の次元にのみ影響する場合（スパース外れ値）、MCODEは多変量データに対してどのように動作するか？
• RQ3 1インスタンスあたりの外れ値の次元数が増加するにつれて、MCODEの性能は維持されたり向上するか？
• RQ4 多様な多次元データセットにおいて、MCODEはベースライン手法（RB、LOF、OCSVM）と比較してAUCおよびAUC-PRで優れているか？
• RQ5 外れ値が文脈的にまれであるが個々に頻出する場合、提案手法は応答空間の微小な摂動に対して感受性を示すか？

主な発見

• MCODEは、特にRBおよびOCSVMに対してベースライン手法と比較して顕著に高いAUCスコアを達成し、条件付き確率空間における検出能力の向上を示している。
• 外れ値の影響を受ける次元数を増加させた実験において、MCODEは初期段階からより高いAUC-PRスコアを維持しており、スパース外れ値に対する優れた感受性を示している。
• MCODE-LOFは、ベースラインLOFと比較してAUC-PRが向上しており、強力な手法であっても条件付き確率空間で作業することで性能が向上することを示している。
• 外れ値の次元数が増加するにつれて、MCODEとベースラインの性能差が拡大するため、MCODEは密度の高い外れ値パターンに対しても堅牢であることが確認された。
• Mediamill、Bibtex、Corel5kの各データセットにおいて、MCODEはすべてのベースラインを一貫して上回っており、特に検出が最も困難な低外れ値次元レジームで顕著な優位性を示している。
• 結果から、分類器チェーンを用いた出力依存性のモデル化と、その結果得られる確率ベクトルの分析が、標準手法の直接適用よりもより効果的かつ感受性の高い外れ値検出を可能にすることが確認された。