[논문 리뷰] Concept-drifting Data Streams are Time Series; The Case for Continuous Adaptation

Jesse Read|arXiv (Cornell University)|2018. 10. 04.

Data Stream Mining Techniques참고 문헌 14인용 수 12

한 줄 요약

이 논문은 개념 이탈이 발생하는 데이터 스트림이 시간적 의존성 때문에 본질적으로 시계열임을 주장하며, 스트림 학습에서 널리 공인된 i.i.d. 가정에 도전한다. 이는 파라미터 재설정이 파손적인 방법인 훈련 트리와는 달리, 확률적 경사 하강법(SGD)을 통한 연속적 적응이 더 낫다는 것을 보여주며, 특히 다항식 기반 특징을 사용할 경우 명시적 이탈 탐지 없이도 높은 정확도와 효율성을 달성함을 입증한다.

ABSTRACT

Learning from data streams is an increasingly important topic in data mining, machine learning, and artificial intelligence in general. A major focus in the data stream literature is on designing methods that can deal with concept drift, a challenge where the generating distribution changes over time. A general assumption in most of this literature is that instances are independently distributed in the stream. In this work we show that, in the context of concept drift, this assumption is contradictory, and that the presence of concept drift necessarily implies temporal dependence; and thus some form of time series. This has important implications on model design and deployment. We explore and highlight the these implications, and show that Hoeffding-tree based ensembles, which are very popular for learning in streams, are not naturally suited to learning \emph{within} drift; and can perform in this scenario only at significant computational cost of destructive adaptation. On the other hand, we develop and parameterize gradient-descent methods and demonstrate how they can perform \emph{continuous} adaptation with no explicit drift-detection mechanism, offering major advantages in terms of accuracy and efficiency. As a consequence of our theoretical discussion and empirical observations, we outline a number of recommendations for deploying methods in concept-drifting streams.

연구 동기 및 목표

• 개념 이탈이 존재할 경우 일반적으로 공인된 i.i.d. 가정이 모순됨을 입증하여, 데이터 스트림 학습에서 이 가정을 도전한다.
• 개념 이탈이 본질적으로 시간적 의존성을 암시하므로, 데이터 스트림를 시계열로 간주해야 한다는 점을 보여준다.
• Hoeffding 트리에서 사용하는 표준적인 '탐지 후 재설정' 전략과는 달리, 기울기 기반 방법을 통한 연속적 적응이 더 효과적임을 주장한다.
• 실증적으로, SGD 기반 모델이 개념 이탈 하에서 Hoeffding 트리 앙상블보다 정확도와 계산 효율성 면에서 뛰어남을 입증한다.
• 스트리밍 머신 러닝에서 신경망과 매개변수화된 기울기 기반 방법의 보다 광범위한 도입을 주장한다.

제안 방법

• 이론적 분석을 통해 개념 이탈이 시간적 의존성을 암시함을 보이며, 데이터 스트림가 본질적으로 시계열임을 입증한다.
• 다항식 기반 특징(차수 2 및 3)을 사용한 확률적 경사 하강법(SGD)을 연속적 적응 메커니즘으로 제안한다.
• 실제 및 합성 데이터 스트림에서 모델 성능을 평가하기 위해 전순차적 평가(prequential evaluation)를 사용한다.
• k-NN, Hoeffding 트리(HT), HT 기반 랜덤 포레스트(RF-HT)와의 성능 비교를 여러 데이터셋에서 수행한다.
• k-NN에는 크기가 w인 이동 윈도우를, SGD에는 고정된 모델 파라미터를 적용하여 점진적 학습을 보장한다.
• 시간 및 공간 복잡도를 분석하여, SGD는 스트림 길이에 관계없이 항상 O(d) 복잡도를 유지함을 보여주며, 반면 HT는 트리 깊이와 재설정 주기로 인해 O(ℓd) 복잡도가 증가함을 밝힌다.

실험 결과

연구 질문

• RQ1 개념 이탈이 존재하는 데이터 스트림에서 i.i.d. 가정은 타당한가, 아니면 이탈이 본질적으로 시간적 의존성을 암시하는가?
• RQ2 기울기 기반 방법을 통한 연속적 적응이 Hoeffding 트리 앙상블에서 사용하는 표준적인 '탐지 후 재설정' 전략보다 우수한가?
• RQ3 개념 이탈 하에서 k-NN, Hoeffding 트리, SGD 기반 모델 간의 계산 비용과 정확도의 상호 보완적 관계는 어떠한가?
• RQ4 다양한 유형의 데이터 스트림에서 SGD 기반 모델의 성능은 트리 기반 앙상블과 비교해 어떻게 다를까?
• RQ5 명시적 이탈 탐지 없이도 기울기 기반 방법이 스트리밍 환경에서 효과적으로 매개변수화될 수 있는가?

주요 결과

• 다항식 기반 특징을 사용한 SGD(PBF-SGD)는 모든 테스트 데이터셋에서 Hoeffding 트리 앙상블보다 높은 정확도를 달성했으며, Electricity에서 85.9%, RTG에서 81.8%, CoverType에서 92.6%, Synthetic 스트림에서 95.1%의 정확도를 기록했다.
• Hoeffding 트리 앙상블(RF-HT)은 Electricity에서 86.2%, RTG에서 77.9%, CoverType에서 93.9%, Synthetic 스트림에서 93.6%의 정확도를 기록했지만, 트리 성장과 재설정 주기로 인해 높은 계산 비용을 유발했다.
• k-NN는 Electricity에서 79.8%, RTG에서 78.8%, CoverType에서 93.3%, Synthetic에서 96.0%의 정확도를 기록했으며, 고정된 버퍼 크기로 인해 성능에 한계가 있었다.
• SGD는 일정한 O(d) 시간 및 공간 복잡도를 유지했으며, 반면 Hoeffding 트리는 트리 깊이와 재설정 주기로 인해 O(ℓd) 복잡도가 증가했다.
• 특히 지속적인 이탈이 발생하는 장기간의 스트림에서, SGD의 총 실행 시간은 HT 기반 방법보다 뚜렷이 낮았다.
• 본 연구는 연속적 적응이 파손적인 적응 방식보다 더 효율적이고 정확하며, 특히 이탈이 서서히 또는 지속적으로 발생할 경우 더욱 뛰어남을 발견했다.