[논문 리뷰] stream-learn -- open-source Python library for difficult data stream batch analysis

Paweł Ksieniewicz, Paweł Zyblewski|arXiv (Cornell University)|2020. 01. 29.

Data Stream Mining Techniques인용 수 10

한 줄 요약

stream-learn는 개념 드리프트와 동적 클래스 불균형을 고려한 데이터 스트림의 배치 처리를 위한 오픈소스 파이썬 라이브러리입니다. 합성 스트림 생성, 사이킷런 호환 추정기, Test-Then-Train 및 Prequential 방법을 통한 효율적 평가를 제공합니다. 재현 가능하고 고성능의 실험을 가능하게 하며, 반복적 및 비반복적 드리프트 유형과 동적 불균형 비율을 지원합니다.

ABSTRACT

stream-learn is a Python package compatible with scikit-learn and developed for the drifting and imbalanced data stream analysis. Its main component is a stream generator, which allows to produce a synthetic data stream that may incorporate each of the three main concept drift types (i.e. sudden, gradual and incremental drift) in their recurring or non-recurring versions. The package allows conducting experiments following established evaluation methodologies (i.e. Test-Then-Train and Prequential). In addition, estimators adapted for data stream classification have been implemented, including both simple classifiers and state-of-art chunk-based and online classifier ensembles. To improve computational efficiency, package utilises its own implementations of prediction metrics for imbalanced binary classification tasks.

연구 동기 및 목표

• 데이터 스트림의 배치 처리를 위한 오픈소스이자 사이킷런 호환 도구의 부족을 해결하기 위해.
• 갑작스럽고 점진적이며 점증적인 드리프트를 포함한 제어 가능하고 재현 가능한 특성을 가진 합성 데이터 스트림을 생성할 수 있도록 하기 위해.
• Test-Then-Train 및 Prequential과 같은 기존 평가 방법론을 배치 기반 프레임워크에서 사용할 수 있도록 지원하기 위해.
• 불균형 이진 분류의 효율적인, 맞춤형 구현된 메트릭을 제공하여 계산 성능을 향상시키기 위해.
• 데이터 스트림 분류에 특화된 최신 기술의 분류기 앙상블(예: SEA, OnlineBagging, OOB, UOB, WAE)을 제공하기 위해.

제안 방법

• 라이브러리는 드리프트 및 불균형 특성을 구성 가능한 'StreamGenerator' 클래스를 기반으로 한 마델로 모델링된 합성 데이터 스트림 생성을 구현합니다.
• 세 가지 유형의 개념 드리프트—갑작스럽고 점진적이며 점증적인 드리프트—각각 반복적 또는 비반복적 변형을 지원합니다.
• 클래스 불균형은 'weights' 매개변수를 통해 모델링되며, 사이클 수, 간격, 범위 매개변수를 사용해 시간에 따라 정적 비율 또는 동적 진동을 정의할 수 있습니다.
• 불균형 분류를 위한 배치 최적화된 메트릭이 구현되어 있으며, 사이킷런 및 imbalanced-learn 대비 효율성이 향상됩니다.
• Test-Then-Train 및 Prequential 두 가지 평가기 구현을 제공하며, 재현 가능한 실험을 지원하기 위해 배치 처리에 맞게 조정되었습니다.
• 사이킷런 API 호환성을 확보한 단순 분류기(예: Accumulated Samples Classifier)와 고급 앙상블 방법(예: SEA, OnlineBagging, OOB, UOB, WAE)을 통합합니다.

Figure 1 : Overall schema of the software architecture.

실험 결과

연구 질문

• RQ1 재현 가능한 연구를 위해 파이썬에서 제어 가능한 개념 드리프트와 동적 클래스 불균형을 가진 합성 데이터 스트림을 효율적으로 생성할 수 있는가?
• RQ2 배치 처리 방식이 파이썬에서 온라인 처리 대비 계산 성능을 얼마나 향상시키는가?
• RQ3 최신 기술의 분류기 앙상블은 개념 드리프트와 동적 불균형이 동시에 존재하는 조건에서 어떻게 성능을 발휘하는가?
• RQ4 불균형 분류를 위한 맞춤형 최적화된 메트릭은 스트림 평가 파이프라인의 성능과 속도를 향상시킬 수 있는가?
• RQ5 stream-learn 라이브러리는 Test-Then-Train 및 Prequential과 같은 기존 평가 방법론을 활용한 재현 가능한 실험을 얼마나 효과적으로 지원하는가?

주요 결과

• stream-learn는 갑작스럽고 점진적이며 점증적인 드리프트를 포함한 다양한 드리프트 유형을 반복적 또는 비반복적으로 생성할 수 있으며, 드리프트 역학에 대한 세밀한 제어를 가능하게 합니다.
• 라이브러리는 정적 및 시간에 따라 변화하는 클래스 불균형 비율을 모두 지원하며, 후자는 사이클, 간격, 범위 매개변수를 조합한 튜플 기반 파라미터화 방식으로 구현됩니다.
• 불균형 이진 분류를 위한 효율적이고 맞춤형으로 구현된 예측 메트릭을 제공하여 표준 사이킷런 및 imbalanced-learn 대비 계산 오버헤드를 감소시킵니다.
• UOB, OOB, WAE와 같은 고급 온라인 앙상블 방법의 안정적이고 오픈소스 구현체를 제공하며, 이는 이전에 파이썬에서 일관된 API를 갖춘 채로 제공되지 않았습니다.
• 사이킷런과의 통합을 통해 기존 머신러닝 워크플로우와의 원활한 호환성을 확보하여 stream-learn 추정기를 즉시 통합해 사용할 수 있도록 합니다.
• 이미 활성 학습, 점진적 학습에서의 전처리, 불균형 데이터 스트림에 대한 동적 앙상블 선택과 관련된 여러 연구 프로젝트에서 성공적으로 활용된 바 있습니다.

Figure 2 : Accuracy score and precision achieved by a Gaussian Naive Bayes classifier over the run of the synthetic data stream generated by the StreamGenerator class.