[논문 리뷰] An Ensemble Classification Algorithm Based on Information Entropy for Data Streams

Junhong Wang, Shuliang Xu외 3명|arXiv (Cornell University)|2017. 08. 11.

Data Stream Mining Techniques참고 문헌 25인용 수 3

한 줄 요약

이 논문은 정보 엔트로피를 사용하여 개념 드리프트를 탐지하고 동적으로 분류기 가중치를 재조정하는 데이터 스트림을 위한 앙상블 분류 알고리즘(ECBE)을 제안한다. 엔트로피를 통해 불확실성을 측정함으로써 ECBE는 성능 저하를 식별하고 낮은 가중치를 가진 분류기를 제거하며, 높은 정확도와 효율성을 유지한다. 여러 기준 데이터셋에서 OS-ELM보다 정확도와 시간 측면에서 모두 뛰어나며, 특히 개념 드리프트 조건에서 두각을 나타낸다.

ABSTRACT

Data stream mining problem has caused widely concerns in the area of machine learning and data mining. In some recent studies, ensemble classification has been widely used in concept drift detection, however, most of them regard classification accuracy as a criterion for judging whether concept drift happening or not. Information entropy is an important and effective method for measuring uncertainty. Based on the information entropy theory, a new algorithm using information entropy to evaluate a classification result is developed. It uses ensemble classification techniques, and the weight of each classifier is decided through the entropy of the result produced by an ensemble classifiers system. When the concept in data streams changing, the classifiers' weight below a threshold value will be abandoned to adapt to a new concept in one time. In the experimental analysis section, six databases and four proposed algorithms are executed. The results show that the proposed method can not only handle concept drift effectively, but also have a better classification accuracy and time performance than the contrastive algorithms.

연구 동기 및 목표

• 시간이 지남에 따라 데이터 분포가 변화하는 데이터 스트림 분류에서의 개념 드리프트 문제를 해결한다.
• 기존 앙상블 방법이 드리프트 탐지에 단지 분류 정확도에 의존하는 데서 비롯되는 한계를 극복한다. 이는 정보의 불확실성을 포착하지 못함.
• 분류 결과의 불확실성을 정량화하고 동적 분류기 재가중을 이끄는 데 정보 엔트로피를 사용하는 방법을 개발한다.
• 기존 최첨단 알고리즘에 비해 동적 데이터 스트림 환경에서 분류 성능과 계산 효율성을 향상시킨다.
• 갈림길적 변화와 급격한 변화를 포함한 다양한 유형의 개념 드리프트에 대해 강건성을 확보한다.

제안 방법

• 기본 분류기 여러 개를 유지하고 그들의 집합적 출력의 정보 엔트로피에 기반해 동적 가중치를 할당하는 앙상블 분류 프레임워크(ECBE)를 제안한다.
• 앙상블의 예측 분포의 엔트로피를 불확실성의 척도로 사용한다: 높은 엔트로피는 더 큰 불확실성과 잠재적 개념 드리프트를 의미한다.
• 높은 엔트로피 출력에 기여하는 분류기의 가중치를 감소시키는 가중치 갱신 규칙을 정의하며, 임계값 이하의 가중치는 제거된다.
• 임계값 기반 메커니즘을 도입해 개념 드리프트를 탐지한다: 엔트로피가 크게 증가하면 시스템이 재가중 및 분류기 교체를 트리거한다.
• 다양한 활성화 함수(radbas, sigmoid, sine, hardlim)를 적용하고 최적 성능을 위해 하이퍼파rameter(α=0.05, β=2, γ=0.1)를 튜닝한다.
• 슬라이딩 윈도우 메커니즘(윈도우 크기는 각 데이터셋에 맞게 튜닝)을 사용해 엔트로피 계산과 드리프트 탐지를 위한 고정된 이전 데이터 윈도우를 유지한다.

실험 결과

연구 질문

• RQ1 기존의 정확도 기반 방법 외에 정보 엔트로피가 데이터 스트림에서 개념 드리프트 탐지에 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ2 제안된 ECBE 알고리즘이 개념 드리프트가 포함된 다양한 데이터 스트림 조건에서도 높은 분류 정확도를 유지하는 방식은 무엇인가?
• RQ3 ECBE는 정확도와 시간 효율성 측면에서 기존의 앙상블 방법인 OS-ELM에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 ECBE는 합성 및 실세계 데이터셋에서 관찰된 바와 같이 급격한 변화와 점진적인 변화를 효과적으로 탐지할 수 있는가?
• RQ5 엔트로피 기반의 동적 분류기 재가중 메커니즘이 장기적인 모델 안정성과 성능 향상에 어떻게 기여하는가?

주요 결과

• ECBE는 6개 기준 데이터셋 중 4개에서 OS-ELM보다 높은 분류 정확도를 달성했으며, sensor_reading_24와 shuttle에서 통계적으로 유의미한 향상이 있었다.
• waveform 및 Hyperplane 데이터셋에서는 OS-ELM가 정확도에서 ECBE를 0.02 미만으로 약간 앞서지만, ECBE는 네 개의 데이터셋에서 뛰어난 시간 효율성을 보였다.
• ECBE는 높은 시간 효율성을 보였으며, page-blocks에서는 최소 0.2187초, sensor_reading_24에서는 0.3486초의 실행 시간을 기록했고, 대부분의 데이터셋에서 OS-ELM를 능가했다.
• ECBE는 네 개의 데이터셋(Hyperplane, SEA, waveform, RBF)에서 총 15개의 개념 드리프트 이벤트를 성공적으로 탐지했으며, Hyperplane과 waveform에서 6개의 급격한 드리프트를 모두 식별했고, RBF에서는 점진적 드리프트를 탐지했다.
• 소수의 잘못된 경고나 누락(예: Hyperplane에서 한 번의 잘못된 경고, SEA에서 한 번의 빠진 드리프트)이 있었지만, ECBE의 엔트로피 기반 탐지 메커니즘이 전반적으로 효과적이었다.
• 저성능 분류기를 제거하고 성능을 복원함으로써 탐지 후에도 높은 정확도를 유지함으로써, 엔트로피 기반 재가중 전략의 효과성을 확인했다.