[논문 리뷰] Resource-aware Elastic Swap Random Forest for Evolving Data Streams

Diego Marrón, Eduard Ayguadé외 2명|arXiv (Cornell University)|2019. 05. 14.

Data Stream Mining Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 유연한 스왑 랜덤 포레스트(Elastic Swap Random Forest, ESRF)를 제안한다. ESRF는 적응형 랜덤 포레스트(ARF)의 트리 수를 동적으로 관리하는 최전방 집합(고정확도 분류기 집합)과 교체용 후보 집합을 통해, ARF100과 유사한 정확도를 달성하면서도 최대 66% 적은 트리 수로 구현하고, 샘플당 추론 속도를 3배 빠르게 한다.

ABSTRACT

Continual learning based on data stream mining deals with ubiquitous sources of Big Data arriving at high-velocity and in real-time. Adaptive Random Forest ({\em ARF}) is a popular ensemble method used for continual learning due to its simplicity in combining adaptive leveraging bagging with fast random Hoeffding trees. While the default ARF size provides competitive accuracy, it is usually over-provisioned resulting in the use of additional classifiers that only contribute to increasing CPU and memory consumption with marginal impact in the overall accuracy. This paper presents Elastic Swap Random Forest ({\em ESRF}), a method for reducing the number of trees in the ARF ensemble while providing similar accuracy. {\em ESRF} extends {\em ARF} with two orthogonal components: 1) a swap component that splits learners into two sets based on their accuracy (only classifiers with the highest accuracy are used to make predictions); and 2) an elastic component for dynamically increasing or decreasing the number of classifiers in the ensemble. The experimental evaluation of {\em ESRF} and comparison with the original {\em ARF} shows how the two new components contribute to reducing the number of classifiers up to one third while providing almost the same accuracy, resulting in speed-ups in terms of per-sample execution time close to 3x.

연구 동기 및 목표

• ARF의 기본 100개 트리 앙상블이 정확도 향상에 기여도가 낮은 경우가 많아 발생하는 자원 낭비 문제를 해결한다.
• 예측 성능을 희생시키지 않고 데이터 스트림 학습에서 계산 및 메모리 오버헤드를 줄인다.
• 정확도와 드리프트 감지 결과에 따라 활성 분류기 수를 동적으로 조정하여 자원 사용을 최적화한다.
• 배경에서 작동하는 스왑 메커니즘을 도입하여 저성능 트리를 더 높은 성능의 후보 트리로 교체한다.
• 앙상블의 탄력성에 영향을 주는 조정 가능한 임계값을 통해 정확도와 자원 소비의 균형을 이룬다.

제안 방법

• ESRF는 분류기의 정확도에 기반해 앙상블를 최전방 집합(활성 예측기)과 후보 집합(배경 학습기)으로 분할한다.
• 스왑 구성요소는 스왑이 전체 앙상블 정확도를 향상시킬 경우 최전방 트리를 더 높은 성능의 후보 트리로 교체한다.
• 탄력성 구성요소는 성능 및 드리프트 감지 신호에 따라 최전방 집합의 크기를 동적으로 증가 또는 감소시킨다.
• 시스템은 두 개의 임계값을 사용한다: 민감도 임계값(Ts)과 일반 임계값(Tg)으로, 앙상블 확장 또는 축소 시기를 제어한다.
• 각 트리별 드리프트 감지기 모니터링을 통해 드리프트 경고가 발생하면 배경 학습과 잠재적 스왑을 트리거한다.
• 최종 앙상블 크기는 스왑으로 인한 정확도 향상과 자원 제약 조건 간의 동적 상호작용에 의해 결정된다.

실험 결과

연구 질문

• RQ1 변화하는 데이터 스트림에서 ARF의 트리 수를 정확도가 크게 떨어지지 않게 줄일 수 있는가?
• RQ2 최전방 집합과 후보 집합으로 나누어진 이중 분류기 관리 전략이 더 적은 트리로도 정확도를 유지하거나 향상시키는 데 얼마나 효과적인가?
• RQ3 앙상블 크기를 동적으로 조절함으로써 계산 효율성을 얼마나 향상시킬 수 있으며, 예측 성능는 유지할 수 있는가?
• RQ4 적응형 스트림 학습에서 정확도와 자원 소비(메모리, CPU) 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 다양한 임계값 설정(Ts 및 Tg)이 도출된 ESRF 모델의 크기, 속도, 정확도에 어떤 영향을 미치는가?

주요 결과

• ESRF는 평균 트리 수를 ARF100의 100개에서 33.41개로 줄여 앙상블 크기를 66.6% 감소시켰다.
• ESRF의 평균 정확도는 84.33%이며, ARF100의 84.13%와 비교해 평균적으로 0.19% 향상되었다.
• 샘플당 추론 시간은 평균 3.14배 빨라졌으며, 데이터셋 간 속도 향상은 1.35배에서 4.91배까지 다양했다.
• 14개 데이터셋 중 12개에서 ESRF와 ARF100 간 정확도 차이가 -0.05% 이내였고, 가장 나쁜 경우 -0.30% (RTG 데이터셋)였다.
• 더 엄격한 임계값(Ts = Tg = 0.001)을 사용할 경우, 도전적인 데이터셋에서 더 높은 정확도를 달성하면서도 평균 모델 크기는 작게 유지했다.
• 모델 크기(10.31)와 속도 향상(10.31)의 표준편차가 낮아 안정적인 성능을 유지했으며, 실험 전반에서 일관된 성능을 보였다.