[논문 리뷰] Hybrid Forest: A Concept Drift Aware Data Stream Mining Algorithm

Radin Hamidi Rad, Maryam Amir Haeri|arXiv (Cornell University)|2019. 02. 10.

Data Stream Mining Techniques참고 문헌 10인용 수 9

한 줄 요약

이 논문은 개념 드프트와 초기 수렴 속도가 느린 문제를 해결하기 위해 히프딩 트리와 약한 학습기들을 조합한 앙상블 기반 데이터 스트림 마이닝 알고리즘인 Hybrid Forest를 제안한다. 초기 단계에서 약한 학습기의 빠른 예측을 활용하고 안정성이 확보된 후 메인 트리로 전환함으로써, 단일 히프딩 트리 및 랜덤 포레스트 변형 대비 더 빠른 수렴과 뛰어난 정확도를 달성한다. 특히 초기 예측 및 드프트 복구 상황에서 뛰어난 성능을 보인다.

ABSTRACT

Nowadays with a growing number of online controlling systems in the organization and also a high demand of monitoring and stats facilities that uses data streams to log and control their subsystems, data stream mining becomes more and more vital. Hoeffding Trees (also called Very Fast Decision Trees a.k.a. VFDT) as a Big Data approach in dealing with the data stream for classification and regression problems showed good performance in handling facing challenges and making the possibility of any-time prediction. Although these methods outperform other methods e.g. Artificial Neural Networks (ANN) and Support Vector Regression (SVR), they suffer from high latency in adapting with new concepts when the statistical distribution of incoming data changes. In this article, we introduced a new algorithm that can detect and handle concept drift phenomenon properly. This algorithms also benefits from fast startup ability which helps systems to be able to predict faster than other algorithms at the beginning of data stream arrival. We also have shown that our approach will overperform other controversial approaches for classification and regression tasks.

연구 동기 및 목표

• 데이터 스트림 분류 및 회귀에서 히프딩 트리(VFDT)의 느린 초기 수렴 문제를 해결하기 위해.
• 분포 이탈을 탐지하고 신속한 복구를 가능하게 하여 개념 드프트에 대한 강건성을 향상시키기 위해.
• 예측 정확도를 향상시키면서도 낮은 계산 및 메모리 오버헤드를 유지하는 앙성 방법을 설계하기 위해.
• 빠른 스타트업과 실시간 적응 능력을 갖춘 실용적이고 구현 가능한 솔루션을 제공하기 위해.

제안 방법

• 알고리즘은 하이브리드 아키텍처를 사용한다: 안정적인 장기 예측을 위한 주요 히프딩 트리(VFDT)와 초기 데이터 스트림 도착 시 빠른 예측을 제공하기 위한 약한 학습기 집합.
• 신뢰도 기반 전환 메커니즘이 주요 트리와 약한 학습기 간의 예측 일관성을 모니터링하며, 일관성이 높을 경우 시스템이 주요 트리로 전환한다.
• 약한 학습기는 점진적으로 학습되며, 주요 트리가 안정화되기 이전에 초기 예측을 제공함으로써 초기 예측 지연을 감소시킨다.
• 개념 드프트는 주요 트리와 앙성 간의 예측 일관성 부족을 통해 탐지되며, 탐지 시 재학습 또는 모드 전환을 유도하여 정확도를 복구한다.
• 트리 분할의 통계적 신뢰도를 확보하기 위해 히프딩 부등식을 사용하며, 이는 유한 오차 범위 내에서 정확한 분할을 보장한다.
• 약한 학습기를 효율적으로 재사용함으로써, 단일 히프딩 트리보다 약간 높은 메모리 사용량만을 유발하도록 앙성 구조를 설계하였다.

실험 결과

연구 질문

• RQ1 데이터 스트림 알고리즘이 데이터 도착의 초반 단계에서 어떻게 더 빠른 수렴을 달성할 수 있는가?
• RQ2 히프딩 트리에서 앙성 접근 방식이 개념 드프트에 대해 얼마나 강건성을 향상시킬 수 있는가?
• RQ3 하이브리드 모델이 단일 트리 및 랜덤 포레스트 기준선을 능가하면서도 낮은 메모리 및 계산 오버헤드를 유지할 수 있는가?
• RQ4 약한 학습기에서의 초기 예측이 스트리밍 회귀 및 분류 작업에서 전체 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• Abalone 데이터셋에서 Hybrid Forest는 단일 히프딩 회귀 트리(VFRT)가 1042개 샘플이 필요로 하는 동안 185개 샘플만으로 90% 정확도를 달성하여 훨씬 더 빠른 수렴을 보였다.
• Wind 데이터셋에서 Hybrid Forest는 712개 샘플에서 90% 정확도를 달성했으며, 단일 VFRT(1073개 샘플)를 능가했지만, 랜덤 포레스트 기준선(200개 샘플)은 더 빠르게 성능을 보였으나 장기적으로 더 높은 변동성을 보였다.
• 개념 드프트 복구 상황에서 Hybrid Forest는 CVFDT, CVFDT with options, EDDM-VFDT를 모두 능가하며 더 높은 정확도를 유지하고 분포 이탈 후 더 빠르게 복구했다.
• Abalone 데이터셋에서 알고리즘의 메모리 프로파일은 9.36MB로, 단일 VFRT의 0.36MB 초과이지만 랜덤 포레스트(100개 약한 학습기)의 9MB보다 略로 높아 낮은 메모리 오버헤드를 확인했다.
• 그림 9는 Hybrid Forest가 단일 VFRT를 항상 능가하고, 랜덤 포레스트와 동등하거나 이를 초월하며 특히 초기 예측 단계에서 뛰어난 성능을 보임을 보여준다.
• 이론적 분석을 통해 히프딩 부등식을 만족할 경우 알고리즘이 높은 확률로 정확한 트리 분할을 보장함으로써 신뢰성을 확보함을 확인했다.