[논문 리뷰] Less Is More: A Comprehensive Framework for the Number of Components of Ensemble Classifiers

Hamed Bonab, Fazlı Can|arXiv (Cornell University)|2017. 09. 09.

Data Stream Mining Techniques참고 문헌 32인용 수 15

한 줄 요약

이 논문은 앙상블 모델에서 사전에 최적의 구성 분류기 수를 결정할 수 있는 기하학적 프레임워크를 제안한다. 가중 다수결 투표(WMV)의 경우, 구성 분류기가 강력하고 상호 독립적일 때 이상적인 앙상블 크기는 클래스 레이블 수와 동일하다는 것을 증명한다. 이 프레임워크는 다양성이 정확도 향상에 이론적으로 기여하는 방식을 설명하며, 실험을 통해 더 작은, 다양한 앙상블이 더 큰 앙상블보다 더 우수한 성능을 내는 것으로 확인한다. 특히 대용량 데이터 환경에서의 온라인 설정에서 그러한 성능 향상이 두드러진다.

ABSTRACT

The number of component classifiers chosen for an ensemble greatly impacts the prediction ability. In this paper, we use a geometric framework for a priori determining the ensemble size, which is applicable to most of existing batch and online ensemble classifiers. There are only a limited number of studies on the ensemble size examining Majority Voting (MV) and Weighted Majority Voting (WMV). Almost all of them are designed for batch-mode, hardly addressing online environments. Big data dimensions and resource limitations, in terms of time and memory, make determination of ensemble size crucial, especially for online environments. For the MV aggregation rule, our framework proves that the more strong components we add to the ensemble, the more accurate predictions we can achieve. For the WMV aggregation rule, our framework proves the existence of an ideal number of components, which is equal to the number of class labels, with the premise that components are completely independent of each other and strong enough. While giving the exact definition for a strong and independent classifier in the context of an ensemble is a challenging task, our proposed geometric framework provides a theoretical explanation of diversity and its impact on the accuracy of predictions. We conduct a series of experimental evaluations to show the practical value of our theorems and existing challenges.

연구 동기 및 목표

• 계산 및 메모리 제약이 심각한 온라인 및 대용량 데이터 환경에서 최적의 앙상블 크기를 결정하는 데 있어 핵심적인 과제를 해결하기 위해.
• 기존 문헌의 격차를 메우기 위해 구성 분류기 간의 다양성이 앙상블 정확도를 어떻게 향상시키는지 설명하는 이론적 기반을 제공하기 위해.
• 배치 및 온라인 앙상블 분류기 모두에 적용 가능한 기하학적 프레임워크를 개발하여 구성 요소의 수를 사전에 결정할 수 있도록 하기 위해.
• 광범위한 실험을 통해 더 작은, 다양한 앙상블이 최적의 가중치를 갖추면 더 큰 앙상블의 성능을 따라잡거나 초월할 수 있음을 검증하기 위해.
• 실제 및 시뮬레이션된 데이터 스트림 조건 하에서 앙상블 크기, 다양성, 예측 성능 간의 관계를 조사하기 위해.

제안 방법

• 저자는 구성 분류기의 투표 과정을 기하학적 공간에서 모델링하여, 분류기 출력을 고차원 공간 내 벡터로 표현한다.
• 투표 집계를 위한 최적의 구성 요소 가중치를 계산하기 위해 선형 최소제곱법(LSQ)을 적용함으로써, 이 프레임워크가 배치 및 온라인 설정 모두에서 사용 가능하도록 한다.
• 더 많은 구성 요소를 추가할 경우 정확도 향상이 이루어지는 이론적 조건을 도출하며, 특히 WMV의 경우 구성 분류기가 강력하고 상호 독립적일 때 이상적인 크기가 m = p(클래스 수)임을 증명한다.
• 다양성은 구성 예측의 각도 분포로 기하학적으로 정의되며, 높은 다양성은 상관관계 감소와 함께 정확도 향상에 기여한다.
• 구성 요소 출력의 기하학적 성질을 분석하고 최적의 결정 경계로의 수렴을 분석함으로써, 구성 요소 수를 사전에 결정할 수 있도록 한다.
• 실험은 MOA 프레임워크를 사용하여 16개의 실제 및 시뮬레이션된 데이터 스트림에서 수행되며, 다양한 앙상블 크기와 선택 전략을 비교한다.

실험 결과

연구 질문

• RQ1 가중 다수결 투표(WMV) 하에서, 구성 분류기가 강력하고 상호 독립적일 경우 이론적으로 최적의 구성 분류기 수는 얼마인가?
• RQ2 구성 분류기 간의 기하학적 다양성이 앙상블의 예측 정확도에 어떤 영향을 미치는가?
• RQ3 온라인 및 배치 학습 모두에 적용 가능한 기하학적 프레임워크를 사용하여 앙상블 크기를 사전에 결정할 수 있는가?
• RQ4 고속도 및 고용량 데이터 스트림 환경에서 앙상블 크기가 성능에 어느 정도 영향을 미치는가?
• RQ5 최적의 가중치를 갖춘 더 작은, 다양한 앙상블이 정확도 및 효율성 측면에서 더 큰 앙상블을 능가하는가?

주요 결과

• 가중 다수결 투표(WMV)의 경우, 구성 분류기가 강력하고 상호 독립적일 때 이론적으로 이상적인 앙상블 크기는 클래스 레이블 수와 동일하다(m = p).
• 실험 결과, LevBag-8, LevBag-16, LevBag-32, LevBag-64, LevBag-128 앙상블은 상호 동등하게 우수하며, 더 작은 앙상블보다 유의미하게 높은 성능을 보여, 특정 크기 이상에서는 수익 감소 현상이 나타남을 시사한다.
• 다양한 구성 요소를 선택하는 Sel2Div 앙상블은 최대 128개의 구성 요소를 가진 앙상블과 유사한 성능을 달성하여, 다양성이 더 적은 수의 구성 요소로도 높은 정확도를 가능하게 함을 보여준다.
• 나이브 베이즈와 호프딩 트리의 조합인 Hyb-HTNB 앙상블은 LevBag-2 및 LevBag-4와 동등한 성능을 보이며, 자연스러운 다양성이 성능에 미치는 영향을 입증한다.
• 실제 데이터셋 8개 중 7개에서 최적의 성능이 이론적 예측인 m = p 근처에서 발생하여, 이론적 예측을 지지한다.
• 프리드먼 검정은 성능에 통계적으로 유의미한 차이가 있음을 확인했으며(p = 0.002), 평균 순위 분석 결과 LevBag-16 및 LevBag-128가 상위 성능을 기록했다.