[論文レビュー] MSD-Kmeans: A Novel Algorithm for Efficient Detection of Global and Local Outliers

Yuanyuan Wei, Julian Jang‐Jaccard+2 more|arXiv (Cornell University)|Oct 15, 2019

Anomaly Detection Techniques and Applications参考文献 30被引用数 8

ひとこと要約

本論文では、まず平均と標準偏差（MSD）を用いてノイズの多いデータをフィルタリングし、その後K-meansクラスタリングを用いてグローバルおよびローカルの外れ値を検出するハイブリッド外れ値検出アルゴリズム、MSD-Kmeansを提案する。ニューヨーク市タクシー運賃データを対象に評価した結果、MSD-Kmeansは最高の精度（98.6%）、正解率（97.4%）、F-measure（98.6%）を達成し、単独のMSD、K-means、Zスコア、MIQR、LOFよりも、誤検出率が低いという点で、運賃詐欺の検出において優れた性能を示した。

ABSTRACT

Outlier detection is a technique in data mining that aims to detect unusual or unexpected records in the dataset. Existing outlier detection algorithms have different pros and cons and exhibit different sensitivity to noisy data such as extreme values. In this paper, we propose a novel cluster-based outlier detection algorithm named MSD-Kmeans that combines the statistical method of Mean and Standard Deviation (MSD) and the machine learning clustering algorithm K-means to detect outliers more accurately with the better control of extreme values. There are two phases in this combination method of MSD-Kmeans: (1) applying MSD algorithm to eliminate as many noisy data to minimize the interference on clusters, and (2) applying K-means algorithm to obtain local optimal clusters. We evaluate our algorithm and demonstrate its effectiveness in the context of detecting possible overcharging of taxi fares, as greedy dishonest drivers may attempt to charge high fares by detouring. We compare the performance indicators of MSD-Kmeans with those of other outlier detection algorithms, such as MSD, K-means, Z-score, MIQR and LOF, and prove that the proposed MSD-Kmeans algorithm achieves the highest measure of precision, accuracy, and F-measure. We conclude that MSD-Kmeans can be used for effective and efficient outlier detection on data of varying quality on IoT devices.

研究の動機と目的

• 大規模でノイズの多いIoTデータセットにおけるタクシー運賃の外れ値を検出する課題に対処すること。
• 極端な値のクラスタリングアルゴリズムへの影響を低減することで、外れ値検出の正確性を向上させること。
• 統計的手法によるフィルタリング（MSD）と機械学習によるクラスタリング（K-means）を組み合わせたハイブリッド手法を、頑健な外れ値検出のために開発すること。
• 実世界のタクシー運賃データを対象に提案手法を評価し、既存の外れ値検出アルゴリズムと性能を比較すること。
• MSD-Kmeansアルゴリズムが複雑で大容量のデータセットにおいてスケーラビリティと効率性を示すかを実証すること。

提案手法

• アルゴリズムは前処理段階で平均と標準偏差（MSD）法を適用し、クラスタリングの前に極端な値を特定・削除する。
• 二段階アプローチを採用する：まずMSDがノイズの多いデータをフィルタリングしてクラスタ形成における歪みを最小限に抑える。次に、クリーンなデータセット上でK-meansがクラスタリングを実行する。
• K-meansクラスタリング段階では、正規化された運賃値に基づいて局所最適なクラスタを特定し、グローバルおよびローカルの外れ値を検出可能にする。
• 性能評価には、標準指標（真正陽性率（TPR）、偽陽性率（FPR）、精度、正解率、再現率、F-measure）を用いる。
• 特にマルチコアまたはGPU搭載のIoTデバイスにおいても計算効率を向上させるために、K-means段階を並列化することでさらに最適化されている。
• アルゴリズムは、ニューヨーク市イエロータクシーデータセット（1.71GB、2016年1月分）を対象とし、外れ値検出の特徴量として運賃額に焦点を当てている。

実験結果

リサーチクエスチョン

• RQ1 MSDとK-meansを組み合わせることで、ノイズの多いデータへの感受性を低減しつつ、外れ値検出の正確性を向上させることができるか？
• RQ2 MSD-Kmeansは、単独のMSD、K-means、Zスコア、MIQR、LOFと比較して、タクシー運賃詐欺の検出においてどのように性能を発揮するか？
• RQ3 二段階の前処理とクラスタリングアプローチは、外れ値検出における偽陽性率をどの程度低減するか？
• RQ4 K-means段階の並列化は、大規模なIoTデータセットにおけるMSD-Kmeansの実行時間効率を顕著に向上させることができるか？
• RQ5 MSD-Kmeansは一変量の運賃データにおいてグローバルおよびローカルの両方の外れ値を効果的に検出できるか？また、多変数特徴量検出においてはスケーラビリティはどの程度か？

主な発見

• MSD-Kmeansは、全評価アルゴリズムの中で最高のF-measure（98.6%）を達成し、精度と再現率のバランスが最良であることを示した。
• アルゴリズムは最高の精度（98.6%）と正解率（97.4%）を記録し、真の外れ値を識別する際の正確性が優れていた。
• MSD-Kmeansは偽陽性率が最低（11.6%）であり、他のすべてのアルゴリズムよりも誤検出を効果的に低減していた。
• MSDやZスコア、K-means単体と比較して真正陽性率は低かったが、ノイズへの干渉が低減されたことから、全体的な性能が優れていた。
• 並列化されたバージョンのMSD-Kmeansは実行時間を842msに短縮し、K-means（1,132ms）やLOF（31,483ms）よりも顕著に高速化され、計算効率が向上した。
• ハイブリッドアプローチは、MSDおよびK-meansの両方が極端な値に感受しやすいという欠点を効果的に緩和し、ノイズの多いタクシー運賃データにおいて、個別手法よりもより頑健であることが実証された。