[論文レビュー] Outlier Detection by Consistent Data Selection Method

Utkarsh Porwal, Smruthi Mukund|arXiv (Cornell University)|Dec 12, 2017

Anomaly Detection Techniques and Applications参考文献 24被引用数 3

ひとこと要約

本稿では、最初に複数のk値を用いたk-meansクラスタリングのアンサンブルにより一貫性のある（非外れ点である）データポイントを特定し、その後残りのデータに対して1クラス分類器を適用して外れ点を検出する2段階の外れ点検出手法を提案する。この手法は、外れ点または正常パターンの事前知識がなくてもUCIデータセットで競争力ある性能を達成でき、特に新規の詐欺パターンを検出する際に、両クラスの高品質な訓練サンプルを迅速に構築可能である。

ABSTRACT

Often the challenge associated with tasks like fraud and spam detection[1] is the lack of all likely patterns needed to train suitable supervised learning models. In order to overcome this limitation, such tasks are attempted as outlier or anomaly detection tasks. We also hypothesize that out- liers have behavioral patterns that change over time. Limited data and continuously changing patterns makes learning significantly difficult. In this work we are proposing an approach that detects outliers in large data sets by relying on data points that are consistent. The primary contribution of this work is that it will quickly help retrieve samples for both consistent and non-outlier data sets and is also mindful of new outlier patterns. No prior knowledge of each set is required to extract the samples. The method consists of two phases, in the first phase, consistent data points (non- outliers) are retrieved by an ensemble method of unsupervised clustering techniques and in the second phase a one class classifier trained on the consistent data point set is ap- plied on the remaining sample set to identify the outliers. The approach is tested on three publicly available data sets and the performance scores are competitive.

研究の動機と目的

• 正常または異常パターンのラベル付き訓練データが限られている状況における外れ点検出の課題に対処すること。
• 大規模かつ高次元のデータセットから一貫性のある（正常な）行動の代表的サンプルを効率的に抽出できるスケーラブルな手法を開発すること。
• 特に新規の詐欺パターンを検出する際に有用な、一貫性のあるサンプルと外れ点サンプルの迅速なブートストラップを可能にすること。
• 外れ点を直接モデル化するのではなく、安定的で分散が小さいデータポイントを特定することに焦点を当て、教師データへの依存を低減すること。
• 大規模データ処理を想定した分散システムへの容易な実装を設計すること。

提案手法

• 本手法は、まずデータセットに対して複数のk値（例：10から1500）を用いたk-meansクラスタリングを複数回実行して複数のクラスタリングを生成する。
• 各データポイントについて、各クラスタリングにおける重心からの距離に基づいた平均類似度スコアを計算し、部分空間間の一貫性の指標とする。
• 平均類似度スコアが高く（しきい値を超えて）、一貫性のあるデータポイントを「一貫性のあるデータプール」として選別し、安定的で正常な行動を表す。
• 一貫性のあるデータポイントに限定して、1クラス分類器（例：多項式カーネルを用いた1クラスSVM）を訓練し、正常行動の境界を学習する。
• 訓練済みの1クラス分類器を残りのデータ（一貫性のないプール）に適用し、外れ点を同定する。
• 本手法はスケーラブルかつ分散処理に適しており、アンサンブルクラスタリングと類似度スコアリングを活用することで、高次元かつ相関の強いデータに対しても頑健性を発揮する。

実験結果

リサーチクエスチョン

• RQ1 高次元かつ大規模なデータセットにおいて、正常または外れ点パターンの事前知識がなくても、一貫性のあるデータポイントを信頼性高く特定できるか？
• RQ2 複数のk値を用いたk-meansクラスタリングのアンサンブルは、正常行動を表す安定的で分散が小さいデータポイントを検出するのにどの程度有効か？
• RQ3 抽出された一貫性のあるデータセット上で訓練された1クラス分類器は、高い正確性と再現率で外れ点を検出できるか？
• RQ4 外れ点比率やデータ構造が異なる多様な実世界データセットにおいて、本手法の性能はどの程度か？
• RQ5 一貫性のあるデータ選別プロセスは、教師なしで正常クラスおよび外れ点クラスの両方の高品質な訓練サンプルをブートストラップするために利用可能か？

主な発見

• イオンオーロスフィアデータセットでは、一貫性のあるデータプールに275件の正例とたった20件の負例があり、正常行動と異常行動の明確な分離が示された。
• アリズミアデータセットでは、一貫性のあるプールに275件の正例と20件の負例があり、残りの111件の正例と45件の負例が一貫性のないプールに含まれており、外れ点の大部分が効果的に分離されていることが示された。
• マスクデータセットでは、一貫性のあるプールに5,538件の正例と0件の負例があり、一貫性のないプールに42件の正例と1,017件の負例があり、一貫性のあるセットの純度が非常に高いことが確認された。
• マスクデータセットでは、一貫性のあるデータ上で訓練された1クラス分類器が、1,017件の負例すべてを正しく検出しており、正例のうち15件の偽陽性のみを示した。
• 本手法はクラスタリングにおけるk値の選択に非常に感受的であり、k値が低い場合に外れ点が誤ってクラスタリングされてしまうため、性能が著しく低下した。
• 平均類似度スコアは、後続の手動または自動レビューの対象として一貫性のないサンプルを優先順位付けする有効なランク付け指標として機能した。