[논문 리뷰] PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning

Yuening Li, Daochen Zha외 3명|arXiv (Cornell University)|2020. 03. 12.

Anomaly Detection Techniques and Applications참고 문헌 22인용 수 4

한 줄 요약

PyODDS는 자동화된 기계학습(AutoML)을 통합하여 이상 탐지 파이프라인의 알고리즘 선택 및 하이퍼파라미터 튜닝을 최적화하는 엔드 투 엔드 자동 이상 탐지 시스템이다. 정의된 검색 공간과 베이지안 최적화 전략을 활용하여 실제 데이터셋에서 최신 기술 수준의 성능을 달성하며, 수작업으로 구성된 모델과 무작위 탐색 기반 베이스라인에 비해 F1 점수와 수렴 속도에서 뛰어난 성능을 보였다.

ABSTRACT

Outlier detection is an important task for various data mining applications. Current outlier detection techniques are often manually designed for specific domains, requiring large human efforts of database setup, algorithm selection, and hyper-parameter tuning. To fill this gap, we present PyODDS, an automated end-to-end Python system for Outlier Detection with Database Support, which automatically optimizes an outlier detection pipeline for a new data source at hand. Specifically, we define the search space in the outlier detection pipeline, and produce a search strategy within the given search space. PyODDS enables end-to-end executions based on an Apache Spark backend server and a light-weight database. It also provides unified interfaces and visualizations for users with or without data science or machine learning background. In particular, we demonstrate PyODDS on several real-world datasets, with quantification analysis and visualization results.

연구 동기 및 목표

• 다양한 도메인에서 수작업으로 이상 탐지 파이프라인을 구성하는 데 소요되는 높은 인적 자원 투입을 해결하기 위해.
• 이상 탐지에서 알고리즘 선택, 하이퍼파라미터 튜닝, 오염 비율 추정의 공동 최적화를 자동화하기 위해.
• Apache Spark와 경량 데이터베이스를 사용하여 확장성 있고 실세계에 적합한 배포를 위한 엔드 투 엔드 실행을 가능하게 하기 위해.
• 기술적 배경이 없는 사용자까지 고려한 통합된 사용자 友好的 인터페이스 및 시각화 도구를 제공하기 위해.
• 모델 훈련을 넘어서 실세계 데이터 마이닝 작업에서 AutoML 원리가 이상 탐지 파이프라인에 어떻게 효과적으로 적용될 수 있는지 입증하기 위해.

제안 방법

• PyODDS는 여러 이상 탐지 알고리즘, 그들의 하이퍼파라미터(이산형, 순서형, 연속형) 및 오염 비율을 구성 가능한 구성 요소로 포함하는 검색 공간을 정의한다.
• 효율적인 검색 공간 탐색과 고성능 파이프라인 구성의 식별을 위해 베이지안 최적화 기반의 검색 전략을 적용한다.
• 분산 데이터 처리를 위한 백엔드로 Apache Spark를 사용하고, 데이터 저장 및 검색을 위한 경량 데이터베이스로 TDengine을 사용한다.
• 원시 데이터, 이상 점수, 시계열 분해(수준, 추세, 계절성, 잔차), 확률 밀도 함수를 표시하는 통합 API 및 시각화 레이어를 제공한다.
• 쿼리 함수를 통한 유연한 시간 슬라이스 세그먼테이션과 인증을 통한 보안 서버 연결을 지원한다.
• F1 점수, 정밀도, 재현율을 사용하여 파이프라인 성능을 평가하며, 임의로 설정 가능한 보상 함수를 통해 임의의 양성 및 음성 결과에 대응한다.

실험 결과

연구 질문

• RQ1 자동화된 시스템이 수작업으로 구성된 모델에 비해 알고리즘 선택 및 하이퍼파라미터 튜닝을 공동 최적화하여 뛰어난 이상 탐지 성능을 달성할 수 있는가?
• RQ2 PyODDS의 검색 전략은 실제 데이터셋에서 수렴 속도와 최종 성능 측면에서 무작위 탐색에 비해 어떻게 비교되는가?
• RQ3 PyODDS는 수동 조정 없이 다양한 데이터 소스에 대해 얼마나 일반화될 수 있는가?
• RQ4 시스템은 비전문가 사용자가 탐지 결과와 데이터 패턴을 이해하는 데 도움이 되는 해석 가능한 시각화를 제공할 수 있는가?
• RQ5 AutoML 원리의 통합이 실세계 데이터 마이닝 응용 분야에서 엔드 투 엔드 이상 탐지 파이프라인에 얼마나 효과적인가?

주요 결과

• PyODDS는 NAB 벤치마크에서 최고 F1 점수 96.68을 기록하여 최고 수준의 수작업 모델과 동일한 성능을 달성했으며, 무작위 탐색 기반 베이스라인을 초월했다.
• 시스템은 OCSVM 알고리즘과 특정 하이퍼파라미터 조합을 통해 최고 성능의 파이프라인 구성(96.68 F1 점수, 95.27 재현율, 낮은 양성 오류, 94.76 재현율, 낮은 음성 오류)을 발견했다.
• 무작위 탐색 대비 PyODDS는 더 빠른 수렴 속도를 보이며, 여러 데이터셋에서 높은 성능의 아키텍처(상위 5개)를 효과적으로 탐색하여 더 뛰어난 검색 효율성을 입증했다.
• 시각 분석 컴포넌트는 데이터 분포, 이상 점수, 잔차 성분을 효과적으로 시각화하여 스파이크나 극단적 값과 같은 이상 현상을 이해하는 데 기여했다.
• 오염 비율 추정 및 알고리즘 선택을 포함한 파이프라인 구성의 자동화로 전문가의 간섭 필요성을 크게 감소시켰다.
• Apache Spark와 TDengine의 통합은 확장성 있고 실시간으로 시계열 데이터를 처리할 수 있도록 지원하여 대규모 배포를 가능하게 했다.