[論文レビュー] PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning

Yuening Li, Daochen Zha+3 more|arXiv (Cornell University)|Mar 12, 2020

Anomaly Detection Techniques and Applications参考文献 22被引用数 4

ひとこと要約

PyODDS は、異常検出パイプラインの最適化を自動化するエンドツーエンドで自動化された異常検出システムであり、自動機械学習（AutoML）を統合して、アルゴリズム選択とハイパーパrameterチューニングを最適化する。定義された探索空間とベイズ最適化戦略を活用することで、実世界のデータセットにおいて最先端のパフォーマンスを達成し、手作業で構築されたモデルやランダムサーチのベースラインを F1 スコアおよび収束速度の面で上回る。

ABSTRACT

Outlier detection is an important task for various data mining applications. Current outlier detection techniques are often manually designed for specific domains, requiring large human efforts of database setup, algorithm selection, and hyper-parameter tuning. To fill this gap, we present PyODDS, an automated end-to-end Python system for Outlier Detection with Database Support, which automatically optimizes an outlier detection pipeline for a new data source at hand. Specifically, we define the search space in the outlier detection pipeline, and produce a search strategy within the given search space. PyODDS enables end-to-end executions based on an Apache Spark backend server and a light-weight database. It also provides unified interfaces and visualizations for users with or without data science or machine learning background. In particular, we demonstrate PyODDS on several real-world datasets, with quantification analysis and visualization results.

研究の動機と目的

• 多様な分野にまたがる異常検出パイプラインの手動設定にかかる人的リソースの高さを解消すること。
• 異常検出におけるアルゴリズム選択、ハイパーパrameterチューニング、および不正比推定の共同最適化を自動化すること。
• Apache Spark と軽量データベースを用いたエンドツーエンド実行を可能にし、スケーラブルでリアルワールドへの展開を可能にすること。
• 技術者および非技術者ユーザーの両方に対して統合的で使いやすいインターフェースと可視化機能を提供すること。
• モデル学習を超えて、特に異常検出パイプラインにおいて AutoML の有効性を、リアルワールドのデータマイニングタスクにおいて実証すること。

提案手法

• PyODDS は、複数の異常検出アルゴリズム、そのハイパーパramータ（離散的、順序的、連続的）および不正比を構成可能なコンponentsとして含む探索空間を定義する。
• 効率的な探索空間の探索と高性能なパイプライン構成の同定を実現するため、ベイズ最適化に基づく探索戦略を採用する。
• 分散データ処理のバックエンドとして Apache Spark を使用し、データの保存および取得には TDengine を軽量データベースとして活用する。
• 生データ、異常スコア、時系列分解（レベル、トレンド、季節性、残差）、確率密度関数を表示する統合 API および可視化レイヤーを提供する。
• クエリ関数による柔軟な時間スライスセグメンテーションと、認証によるセキュアなサーバー接続をサポートする。
• F1 スコア、適合率、再現率を用いてパイプラインのパフォーマンスを評価し、誤検出と見逃しのペナルティに応じてカスタマイズ可能な報酬関数を提供する。

実験結果

リサーチクエスチョン

• RQ1 自動化されたシステムは、手作業で構築されたモデルと比較して、アルゴリズム選択とハイパーパramータチューニングを共同で最適化することで、優れた異常検出性能を達成できるか？
• RQ2 PyODDS の探索戦略は、ランダムサーチと比較して、実世界のデータセットにおける収束速度および最終的なパフォーマンスの面でどのように異なるか？
• RQ3 手動での介入なしに、PyODDS は多様なデータソースにどの程度一般化できるか？
• RQ4 システムは、非専門家ユーザーが検出結果やデータパターンを理解するのに役立つ解釈可能な可視化を提供できるか？
• RQ5 AutoML の原則をエンドツーエンドの異常検出パイプラインに統合することは、リアルワールドのデータマイニング応用においてどの程度効果的か？

主な発見

• PyODDS は NAB ベンチマークで最高の F1 スコア 96.68 を達成し、最良の手作業モデルと同等の性能を示し、ランダムサーチのベースラインを上回った。
• OCSVM と特定のハイパーパラメータを組み合わせた最適なパイプライン構成が発見され、F1 スコア 96.68、誤検出を低減した再現率 95.27、誤りを低減した適合率 94.76 を達成した。
• ランダムサーチと比較して、PyODDS はより速く収束し、複数のデータセットで上位5位以内の高性能なアーキテクチャを同定し、優れた探索効率を示した。
• 可視化分析コンponentsは、データ分布、異常スコア、および残差成分を効果的に可視化し、スパイクや極端な値などの異常をユーザーが解釈できるようにした。
• 不正比推定やアルゴリズム選択を含むパイプライン構成の自動化により、専門家による干渉の必要性が顕著に削減された。
• Apache Spark と TDengine の統合により、時系列データのスケーラブルかつリアルタイム処理が可能となり、大規模な展開を支援した。