[논문 리뷰] Streaming Active Deep Forest for Evolving Data Stream Classification

Anh Vu Luong, Tien Thanh Nguyen외 1명|arXiv (Cornell University)|2020. 02. 26.

Data Stream Mining Techniques참고 문헌 16인용 수 11

한 줄 요약

이 논문은 변화하는 데이터 스트림 분류를 위해 적응된 새로운 딥 앙상블 모델인 스트리밍 딥 포레스트(SDF)와 레이블링 효율성을 최적화하는 활성 학습 전략인 증강 변동성 불확실성(AVU)을 제안한다. SDF는 gcForest의 캐스케이드 구조를 활용하여 온라인 학습과 드리프트 적응을 위해 적응형 랜덤 포레스트(ARF)를 도입한다. 반면 AVU는 기존의 불확실성 샘플링 전략을 개선하여 레이블링 예산을 최대한 활용할 수 있도록 동적으로 임계값을 조정한다. 이로 인해 레이블링 예산의 70%만으로도 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

In recent years, Deep Neural Networks (DNNs) have gained progressive momentum in many areas of machine learning. The layer-by-layer process of DNNs has inspired the development of many deep models, including deep ensembles. The most notable deep ensemble-based model is Deep Forest, which can achieve highly competitive performance while having much fewer hyper-parameters comparing to DNNs. In spite of its huge success in the batch learning setting, no effort has been made to adapt Deep Forest to the context of evolving data streams. In this work, we introduce the Streaming Deep Forest (SDF) algorithm, a high-performance deep ensemble method specially adapted to stream classification. We also present the Augmented Variable Uncertainty (AVU) active learning strategy to reduce the labeling cost in the streaming context. We compare the proposed methods to state-of-the-art streaming algorithms in a wide range of datasets. The results show that by following the AVU active learning strategy, SDF with only 70\% of labeling budget significantly outperforms other methods trained with all instances.

연구 동기 및 목표

• 기존의 딥 네트워크(DNN)가 확장성과 재학습 문제를 겪는 변화하는 데이터 스트림 환경에서 딥 앙상블 모델의 부재를 해결하기 위해.
• 인간의 주석 작업이 비용이 많이 들고 시간이 오래 걸리는 스트리밍 환경에서 레이블링 비용을 줄이기 위해.
• 기존의 불확실성 기반 전략에서 레이블링 예산을 제대로 활용하지 못하는 문제를 해결하여 스트림 환경에서의 활성 학습을 향상시키기 위해.
• 개념 드리프트와 제한된 메모리 및 시간 제약 조건 하에서도 높은 정확도를 유지할 수 있는 확장성 있고 온라인 학습이 가능한 프레임워크를 개발하기 위해.

제안 방법

• SDF는 온라인 학습과 드리프트 적응을 위해 표준 랜덤 포레스트 대신 적응형 랜덤 포레스트(ARF)를 사용하여 gcForest의 캐스케이드 아키텍처를 데이터 스트림에 적응시킨다.
• SDF의 각 층은 ARF를 통해 특징을 처리하여 점진적인 모델 업데이트와 층 간 표현 학습을 유지한다.
• 모델은 각 인스턴스를 한 번만 처리하고 예측 후 폐기하는 온라인 학습 방식을 채택하여 메모리 및 시간 제약 조건을 충족시킨다.
• AVU는 예측 신뢰도 기반으로 임계값을 동적으로 조정함으로써 변수 불확실성(VU) 전략을 확장하여 레이블링 예산을 최대한 활용한다.
• 임계값 업데이트 규칙은 다음과 같다: u_k < θ_k 이면 θ_{k+1} = θ_k(1-s), u_k ≥ θ_k 이면 θ_{k+1} = θ_k(1+s), 여기서 s는 작은 양수 상수이다.
• 이론적 분석을 통해 균일한 예측 신뢰도 점수 조건 하에서 k→∞ 일 때 P(u_k < θ_k)의 확률이 0.5로 수렴함을 증명하였으며, 이는 균형 잡힌 샘플링과 최적의 예산 사용을 보장한다.

실험 결과

연구 질문

• RQ1 gcForest의 딥 앙상블 아키텍처가 엄격한 시간 및 메모리 제약 조건 하에서 변화하는 데이터 스트림 분류에 효과적으로 적응될 수 있는가?
• RQ2 제안된 AVU 활성 학습 전략이 스트림 환경에서 기존의 불확실성 기반 샘플링 전략에 비해 레이블링 예산을 완전히 활용하여 우수한 성능을 내는가?
• RQ3 가용 레이블의 일부만을 사용하여 훈련된 SDF가 최신 기술 스트리밍 분류기들과 비교해 어떻게 성능을 내는가?
• RQ4 모델의 깊이(층 수)가 스트리밍 환경에서 SDF의 성능 및 계산 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 실시간으로 개념 드리프트를 탐지하고 적응할 수 있으며, 데이터 분포가 시간이 지남에 따라 변화하더라도 높은 예측 정확도를 유지할 수 있는가?

주요 결과

• SDF는 레이블링 예산의 70%만을 사용하여도 20개의 다양한 데이터셋에서 100% 레이블링 예산을 사용한 모든 벤치마크 방법보다 뛰어난 성능을 보였다.
• SDF의 성능은 깊이가 증가함에 따라 향상되며, 1층에서 5층으로 갈수록 정확도에 명확한 상승 추세를 보이며 더 깊은 모델이 더 좋은 결과를 낳음을 시사한다.
• AVU는 장기적으로 P(u_k < θ_k)가 0.5로 수렴함을 입증하여, 원래의 VU 전략이 이를 저격하는 것과 달리 레이블링 예산을 완전히 활용함을 보였다.
• 이론적 분석을 통해 AVU의 적응형 임계값이 불확실한 인스턴스의 균형 잡힌 샘플링을 보장하며, 조기 수렴이나 확신 있는 예측의 과다 샘플링을 방지함을 확인하였다.
• SDF는 활성 드리프트 탐지 메커니즘을 통합하여 개념 드리프트에 대해 강건하게 대응하며, 데이터 분포가 시간이 지남에 따라 변화하더라도 높은 정확도를 유지하였다.
• 실험 결과에 따르면, 두 층 이상의 SDF는 항상 단일 층 버전보다 뛰어난 성능을 보였으며, 계산 자원이 허락하는 한 더 깊은 모델이 훨씬 뛰어난 성능을 낳았다.