[논문 리뷰] Random Forest Based Approach for Concept Drift Handling

А. В. Жуков, Denis Sidorov외 1명|arXiv (Cornell University)|2016. 02. 14.

Data Stream Mining Techniques참고 문헌 13인용 수 10

한 줄 요약

이 논문은 시간 가중치, 앙상블 정제, 그리고 내재된 유사도와 기본 학습기 정확도를 활용한 정확도 가중 투표를 통합하여 데이터 스트림에서 개념 드프트를 다루기 위해 Proximity Driven Streaming Random Forest (PDSRF) 방법을 제안한다. 이 방법은 스마트 그라이드와 풍력 발전 예측과 같은 동적 환경에서 표준 Random Forest와 AWE2를 능가한다.

ABSTRACT

Concept drift has potential in smart grid analysis because the socio-economic behaviour of consumers is not governed by the laws of physics. Likewise there are also applications in wind power forecasting. In this paper we present decision tree ensemble classification method based on the Random Forest algorithm for concept drift. The weighted majority voting ensemble aggregation rule is employed based on the ideas of Accuracy Weighted Ensemble (AWE) method. Base learner weight in our case is computed for each sample evaluation using base learners accuracy and intrinsic proximity measure of Random Forest. Our algorithm exploits both temporal weighting of samples and ensemble pruning as a forgetting strategy. We present results of empirical comparison of our method with original random forest with incorporated "replace-the-looser" forgetting andother state-of-the-art concept-drfit classifiers like AWE2.

연구 동기 및 목표

• 실시간 데이터 스트림에서 개념 드프트에 도전하는 것, 특히 스마트 그라이드와 재생 에너지 예측과 같은 비정상적인 환경에서.
• 시간이 지남에 따라 데이터 분포가 변화하는 동적 환경에서 전통적인 Random Forest의 한계를 극복하는 것.
• 기본 학습기의 동적 가중치 할당과 망각 전략을 통해 개념 드프트에 적응하는 앙상블 방법을 개발하는 것.
• 시간적 및 유사도 기반의 샘플 관련성 평가를 통해 스트리밍 환경에서의 예측 정확도를 향상시키는 것.
• 전력 시스템 및 센서 데이터에서 흔한 부재 데이터와 비균일한 데이터 도착에 대한 강건한 분류를 가능하게 하는 것.

제안 방법

• 백킹, 랜덤 서브스페이스 방법, 그리고 동적 앙상블 가중치를 통합한 Proximity Driven Streaming Random Forest (PDSRF)를 제안한다.
• Random Forest의 내재된 유사도 측정을 사용하여 샘플 유사도를 평가하고 기본 학습기 가중치 할당을 안내한다.
• 개별 정확도와 현재 테스트 샘플에 대한 유사도를 기반으로 기본 학습기 가중치를 계산한다.
• 최근 샘플을 우선시하고 오래된 데이터의 영향을 줄이기 위해 시간 가중치를 적용한다.
• 낮은 성능 또는 오래된 분류기들을 제거하기 위해 앙상블 정제를 망각 메커니즘으로 구현한다.
• 정확도와 유사도를 사용하여 각 샘플마다 동적으로 업데이트되는 가중치를 적용한 가중 다수결 투표를 시행한다.

실험 결과

연구 질문

• RQ1 어떻게 Random Forest를 데이터 스트림 환경에서 개념 드프트를 효과적으로 다룰 수 있도록 적응시킬 수 있는가?
• RQ2 앙상블 스트리밍 분류에서 유사도 기반 유사도와 정확도 가중 투표를 결합했을 때의 영향은 무엇인가?
• RQ3 시간 가중치와 앙상블 정제는 표준 RF에 비해 개념 드프트 상황에서 성능을 어떻게 향상시키는가?
• RQ4 제안된 방법은 실제 스트리밍 작업에서 최신 기술인 AWE2와 온라인 백킹을 능가할 수 있는가?
• RQ5 스마트 그라이드와 재생 에너지 응용 분야에서 흔한 부재 데이터와 비균일한 데이터 도착 상황에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• PDSRF 방법은 개념 드프트가 있는 벤치마크 데이터 스트림에서 표준 Random Forest와 AWE2보다 높은 분류 정확도를 달성한다.
• 유사도와 정확도 기반 가중치 할당을 통합함으로써 모델의 점진적 및 급격한 개념 드프트에 대한 적응성이 크게 향상된다.
• 시간 가중치와 앙상블 정제가 오래된 데이터의 영향을 효과적으로 줄여 비정상적인 환경에서의 성능을 향상시킨다.
• 이 방법은 실제 스마트 그라이드 및 풍력 발전 데이터셋에서 흔한 문제인 부재 데이터에 대해 강건함을 보였다.
• 기계 학습 및 추적 작업에 대한 실증 결과는 PDSRF가 동적 데이터 분포 하에서도 높은 예측 성능을 유지함을 확인한다.
• 내재된 유사도와 정확도 가중치의 통합은 정적 또는 순수하게 정확도 기반 가중치보다 더 신뢰성 있고 적응적인 앙상블 결정을 이끈다.