[論文レビュー] PyOD: A Python Toolbox for Scalable Outlier Detection

Yue Zhao, Zain Nasrullah+1 more|arXiv (Cornell University)|Jan 6, 2019

Anomaly Detection Techniques and Applications参考文献 33被引用数 24

ひとこと要約

PyOD は、20 以上のアルゴリズム（古典的手法および最新のニューラルネットワークを含む）を統合した包括的でオープンソースの Python ツールボックスであり、一貫した scikit-learn に似た API を提供します。ユニットテスト、継続的インテグレーション、JIT コンパイル、並列処理を活用することで、効率的で生産環境向けの異常検出が可能となり、データマイニングおよび機械学習分野の研究者や実務家に適しています。

ABSTRACT

PyOD is an open-source Python toolbox for performing scalable outlier detection on multivariate data. Uniquely, it provides access to a wide range of outlier detection algorithms, including established outlier ensembles and more recent neural network-based approaches, under a single, well-documented API designed for use by both practitioners and researchers. With robustness and scalability in mind, best practices such as unit testing, continuous integration, code coverage, maintainability checks, interactive examples and parallelization are emphasized as core components in the toolbox's development. PyOD is compatible with both Python 2 and 3 and can be installed through Python Package Index (PyPI) or https://github.com/yzhao062/pyod.

研究の動機と目的

• 研究者および実務家向けに、専用で包括的な Python 用異常検出ツールキットが不足している問題を解決すること。
• アンサンブルやディープラーニングベースのモデルを含む、幅広い異常検出アルゴリズムをサポートする統一的で良好にドキュメント化された API を提供すること。
• ユニットテスト、継続的インテグレーション、コードカバレッジ、保守性チェックなどの厳密なエンジニアリング手法を用いて、高いソフトウェア品質を確保すること。
• JIT コンパイルと並列処理を活用して、パフォーマンスが求められるアルゴリズムのスケーラビリティを実現すること。
• Windows、Linux、macOS で Python 2 および 3 をサポートするなど、幅広い互換性を確保することで、広範な採用を促進すること。

提案手法

• すべての異常検出器に一貫したメソッド（fit、decision_function、predict、predict_proba）を備えた、scikit-learn を模倣した統一された API を設計すること。
• 近接性ベース、線形モデル、アンサンブル、ニューラルネットワークのカテゴリにまたがる 20 以上の異常検出アルゴリズムを実装すること。
• CBLOF、LOCI、ABOD、HBOS などのパフォーマンスが重要なアルゴリズムの高速化に、Numba を活用したジャストインタイム（JIT）コンパイルを採用すること。
• LOF、kNN、Isolation Forest、XGBOD などのアルゴリズムに対して、joblib を用いたマルチコア並列処理を可能にすること。
• Python のバージョンとオペレーティングシステムに跨る自動テストを実行する継続的インテグレーションパイプライン（Travis CI、AppVeyor、CircleCI）を統合すること。
• 自動化されたコード品質ツール（CodeClimate）を活用し、PEP8 の基準を厳守することで、コードの保守性と共同開発の準備を整えること。

実験結果

リサーチクエスチョン

• RQ1 Python で、古典的手法と最新のディープラーニングベースの手法を両方サポートするスケーラブルで生産環境向けの異常検出ツールボックスをどのように設計できるか？
• RQ2 研究的文脈におけるデータサイエンスライブラリの長期的保守性と信頼性を確保するためのソフトウェアエンジニアリング手法は何か？
• RQ3 JIT コンパイルと並列処理を用いることで、パフォーマンスが求められる異常検出アルゴリズムはどの程度高速化できるか？
• RQ4 統一された API は、多様な異常検出アルゴリズム間での使いやすさと相互運用性をどのように向上させるか？
• RQ5 包括的なドキュメンテーション、インタラクティブな例、コミュニティ主導の開発が、オープンソースのデータサイエンスツールの採用と持続可能性に与える影響は何か？

主な発見

• PyOD は、LOF や Isolation Forest といった確立された手法、およびオートエンコーダーや SO-GAAL といった最新のディープラーニングモデルを含む 20 以上の異常検出アルゴリズムをサポートしています。
• 95% のコードカバレッジ、複数のプラットフォームに跨る継続的インテグレーション、CodeClimate を用いた自動静的コード解析により、高いソフトウェア品質を達成しています。
• Numba の JIT コンパイルと joblib を用いた並列処理によるパフォーマンス最適化により、CBLOF、LOCI、ABOD などの主要なアルゴリズムの実行速度が顕著に向上しました。
• 本ライブラリは広範な採用を獲得しており、月間 10,000 回以上の GitHub ビューと 6,000 回以上の月間 PyPI ダウンロードを記録しており、学術的および商業的応用での活用が顕著です。
• 統一された API と Binder 上でホスティングされたインタラクティブな Jupyter ノートブックにより、インストール不要で迅速なプロトタイピングと実験が可能となり、新規ユーザーのアクセス性が向上しました。
• PyOD は、複数の学術的および産業的プロジェクトに成功裏に統合されており、実世界の環境における実用性と堅牢性を実証しています。