[논문 리뷰] Adaptive Deep Forest for Online Learning from Drifting Data Streams

Łukasz Korycki, Bartosz Krawczyk|arXiv (Cornell University)|2020. 10. 14.

Data Stream Mining Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 개념 드프트를 다루기 위해 적응형 결정 트리와 딥 포레스트 아키텍처를 통합한 온라인 학습 알고리즘인 적응형 딥 포레스트(ADF)를 제안한다. 고차원 데이터 스트림에서 다중 곡선 스캔과 계층적 앙상블 학습을 활용함으로써, ADF는 최신의 얕은 스트리밍 분류기들보다 뛰어난 성능을 보이며, 특히 이미지와 텍스트와 같은 복잡한 데이터에서 뛰어난 성능을 발휘한다.

ABSTRACT

Learning from data streams is among the most vital fields of contemporary data mining. The online analysis of information coming from those potentially unbounded data sources allows for designing reactive up-to-date models capable of adjusting themselves to continuous flows of data. While a plethora of shallow methods have been proposed for simpler low-dimensional streaming problems, almost none of them addressed the issue of learning from complex contextual data, such as images or texts. The former is represented mainly by adaptive decision trees that have been proven to be very efficient in streaming scenarios. The latter has been predominantly addressed by offline deep learning. In this work, we attempt to bridge the gap between these two worlds and propose Adaptive Deep Forest (ADF) - a natural combination of the successful tree-based streaming classifiers with deep forest, which represents an interesting alternative idea for learning from contextual data. The conducted experiments show that the deep forest approach can be effectively transformed into an online algorithm, forming a model that outperforms all state-of-the-art shallow adaptive classifiers, especially for high-dimensional complex streams.

연구 동기 및 목표

• 딥 러닝과 스트리밍 데이터 마이닝 간의 격차를 해소하여 고차원적이고 비정상적인 데이터 스트림에 대한 딥 러닝을 가능하게 한다.
• 이미지, 텍스트, 시계열과 같은 복잡한 맥락적 데이터를 처리하는 데에서 얕은 스트리밍 분류기의 한계를 극복한다.
• 개념 드프트에 빠르게 반응하면서도 딥 러닝의 표현 능력을 유지하는 딥 아키텍처를 개발한다.
• 온라인 학습과 다중 곡선 특징 스캔, 계층적 포레스트 앙상블을 통합하여 동적인 환경에서 지속적인 적응을 가능하게 한다.

제안 방법

• 온라인 적응형 랜덤 포레스트(ARF) 앙상블로 오프라인 구성 요소를 대체하여 gcForest 아키텍처를 온라인 학습에 적응시킨다.
• 다양한 해상도의 슬라이딩 윈도우를 사용하여 고차원 입력에서 계층적 특징을 추출하는 다중 곡선 스캔 메커니즘을 구현한다.
• 각 층이 이전 층의 특징을 처리하는 계층적 딥 포레스트 구조를 구성하여 온라인 환경에서의 깊은 표현 학습을 가능하게 한다.
• 각 계층 층에서 적응형 결정 트리를 사용하여 개념 드프트에 대한 반응성을 확보하고 장기간에 걸쳐 정확도를 유지한다.
• 다중 곡선 특징을 각 계층 층에 추가 입력으로 통합하여 표현 학습을 풍부화하고 일반화 성능을 향상시킨다.
• 개념 드프트 탐지 및 모델 적응 전략을 적용한 온라인 학습을 통해 변화하는 데이터 스트림에서의 성능 유지에 기여한다.

실험 결과

연구 질문

• RQ1 개념 드프트가 존재하는 데이터 스트림 환경에서 딥 포레스트 아키텍처가 온라인 학습에 효과적으로 적응할 수 있는가?
• RQ2 다중 곡선 스캔은 고차원 스트리밍 데이터에서 특징 표현과 모델 성능을 어떻게 향상시키는가?
• RQ3 ADF는 이미지와 텍스트와 같은 복잡한 데이터에서 최신의 얕은 스트리밍 분류기들보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 현재 ADF 설계에서의 계산 및 확장성의 한계 요소는 무엇이며, 이는 모델 성능과 학습 시간에 어떤 영향을 미치는가?
• RQ5 모델의 구조(예: 트리 깊이, 층 구성)는 다양한 유형의 데이터 스트림에서 성능과 어떻게 상관관계가 있는가?

주요 결과

• ADF는 고차원 데이터 스트림, 특히 AGNEWS, MALARIA, DOGSvCATS와 같은 데이터에서 모든 최신의 얕은 적응형 스트리밍 분류기들보다 뚜렷이 뛰어난 성능을 보였다.
• 다중 곡선 스캔의 사용은 특징 표현을 향상시키며, 특히 시각적 및 텍스트 기반 데이터 스트림에서 예측 성능 향상에 기여했다.
• ADF는 개념 드프트에 매우 빠르게 반응하여 데이터 분포가 시간이 지남에 따라 변화하더라도 높은 정확도를 유지함을 보였다.
• 더 큰 스트림, 예를 들어 AGNEWS에서는 런타임과 계산 비용이 높아지며 확장성 문제를 드러내었다.
• 트리 깊이 분석 결과, 대규모 모델에서는 입력 층에 깊은 트리가 형성되는 경향을 보였으며, 이는 과적합의 가능성을 시사한다. 반면 소규모 모델에서는 캐스케이드 층에서 깊은 트리가 형성되는 경향이 있었는데, 이는 패턴을 충분히 포착하지 못했을 가능성을 시사한다.
• 성능 향상에도 불구하고, 모델 크기를 증가시켜도 비례적인 성능 향상이 이루어지지 않아, 향후 연구에서 학습 단위의 다양성 향상 필요성을 시사한다.