[論文レビュー] Comparison of Outlier Detection Techniques for Structured Data

Amulya Agarwal, Nitin Gupta|arXiv (Cornell University)|Jun 16, 2021

Anomaly Detection Techniques and Applications参考文献 35被引用数 6

ひとこと要約

この論文は、構造化されたテーブルデータにおいて、近接性、線形モデル、アンサンブル、確率的カテゴリに分類される15種類の外れ値検出手法を比較している。14のデータセットを用いて、精度、再現率、分類精度を指標に機械学習モデルの性能に与える影響を評価した結果、万能な最適な手法は存在しなかったが、外れ値除去後のモデル向上において、ABODとOCSVMが最も一貫して効果的であることが判明した。

ABSTRACT

An outlier is an observation or a data point that is far from rest of the data points in a given dataset or we can be said that an outlier is away from the center of mass of observations. Presence of outliers can skew statistical measures and data distributions which can lead to misleading representation of the underlying data and relationships. It is seen that the removal of outliers from the training dataset before modeling can give better predictions. With the advancement of machine learning, the outlier detection models are also advancing at a good pace. The goal of this work is to highlight and compare some of the existing outlier detection techniques for the data scientists to use that information for outlier algorithm selection while building a machine learning model.

研究の動機と目的

• 構造化されたテーブルデータセットにおける15種類の外れ値検出手法の包括的比較を提供すること。
• 各手法で検出された外れ値を除去することで、下流の機械学習モデルの性能に与える影響を評価すること。
• 多様なデータセットにおける実証的性能に基づき、データサイエンティストが適切な外れ値検出アルゴリズムを選択できるようにガイドすること。
• 複数の分類器およびデータセットにおいて、一貫してモデルの正答率と頑健性を向上させる外れ値検出手法を同定すること。

提案手法

• LOF、KNN、CBLOF、ABOD、HBOS、MCD、OCSVM、COF、PCA、F.Bagging、Isolation Forest、SOD、LODA、LSCP、CPODの15種類の外れ値検出アルゴリズムを評価した。
• 各外れ値検出手法を14のベンチマークデータセットに適用し、トレーニングデータから検出された外れ値を削除した後、モデルを再トレーニングした。
• 各データセットにおける外れ値検出性能の主な評価指標として、精度と再現率を用いた。
• オリジナルデータセットおよび外れ値が除去されたデータセットを用いて、複数の分類器（例：ロジスティック回帰、ランダムフォレスト、決定木）をトレーニングおよび評価し、性能の変化を測定した。
• 全データセットにわたる平均精度および再現率を計算し、外れ値検出性能の総合順位を付与した。
• アブレーション解析を実施し、平均的にどの外れ値検出手法がモデル正答率を最も向上させたかを特定した。

実験結果

リサーチクエスチョン

• RQ1 多様な構造化データセットにおいて、平均的に最高の精度および再現率を達成する外れ値検出手法は何か？
• RQ2 各手法で検出された外れ値を除去することで、下流の機械学習モデルの性能にどのように影響を与えるか？
• RQ3 複数の分類器およびデータセットにおいて、一貫してモデル正答率を向上させる特定の外れ値検出手法は存在するか？
• RQ4 異なるデータ分布および特徴空間において、最も頑健な性能を示す外れ値検出手法は何か？
• RQ5 万能な最適な外れ値検出アプローチは存在するのか、それともデータセットやモデルタイプによって性能が顕著に異なるのか？

主な発見

• ABODおよびOCSVMは、下流のモデル性能向上において最も効果的な外れ値検出手法であり、ABODは全分類器にわたる平均的な改善度が最も高かった。
• CBLOFは平均的に最高の精度（0.46）と再現率（0.34）を達成し、他の手法よりも外れ値検出能力に優れていた。
• 14のデータセットのうち、15種類の外れ値検出手法すべてが少なくとも2つのデータセットでモデル性能を向上させた。これは、これらの手法が広範に有用であることを示している。
• ランダムフォレストでは、ABOD、HBOS、OCSVM、PCA、LODAがモデル正答率の向上において最も一貫性のある改善を示した。
• 決定木では、ABOD、CBLOF、HBOS、OCSVM、LSCP、LODAが他の手法よりも優れた性能向上を達成した。
• ロジスティック回帰では、ABOD、OCSVM、KNN、Avg KNN、SODが外れ値除去後の性能向上が最も顕著であった。