[논문 리뷰] Learning to Diversify via Weighted Kernels for Classifier Ensemble

Xu-Cheng Yin, Chun Yang외 1명|arXiv (Cornell University)|2014. 06. 04.

Face and Expression Recognition참고 문헌 34인용 수 12

한 줄 요약

이 논문은 정확도와 적응형 다양성의 최대화를 위해 분류기 가중치와 커널 가중치를 동시에 최적화하는 L2DWK를 제안한다. 이는 가중 커널 기반의 다양성으로 조합을 볼록 최적화 문제로 공식화하여, 32개의 UCI 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며 정확도와 다양성 사이의 강력하고 적응형 연결성을 입증한다.

ABSTRACT

Classifier ensemble generally should combine diverse component classifiers. However, it is difficult to give a definitive connection between diversity measure and ensemble accuracy. Given a list of available component classifiers, how to adaptively and diversely ensemble classifiers becomes a big challenge in the literature. In this paper, we argue that diversity, not direct diversity on samples but adaptive diversity with data, is highly correlated to ensemble accuracy, and we propose a novel technology for classifier ensemble, learning to diversify, which learns to adaptively combine classifiers by considering both accuracy and diversity. Specifically, our approach, Learning TO Diversify via Weighted Kernels (L2DWK), performs classifier combination by optimizing a direct but simple criterion: maximizing ensemble accuracy and adaptive diversity simultaneously by minimizing a convex loss function. Given a measure formulation, the diversity is calculated with weighted kernels (i.e., the diversity is measured on the component classifiers' outputs which are kernelled and weighted), and the kernel weights are automatically learned. We minimize this loss function by estimating the kernel weights in conjunction with the classifier weights, and propose a self-training algorithm for conducting this convex optimization procedure iteratively. Extensive experiments on a variety of 32 UCI classification benchmark datasets show that the proposed approach consistently outperforms state-of-the-art ensembles such as Bagging, AdaBoost, Random Forests, Gasen, Regularized Selective Ensemble, and Ensemble Pruning via Semi-Definite Programming.

연구 동기 및 목표

• 고정된 다양성 측정 방법에 의존하지 않고, 적응형 다양성을 통해 높은 앙상블 정확도를 달성하는 데 도전한다.
• 이전 연구에서 관찰된 부정확한 상관관계를 극복하고, 다양성과 앙상블 정확도 사이에 명확하고 데이터 적응형 연결 고리를 구축한다.
• 다양성 측정을 위한 최적의 분류기 가중치와 커널 가중치를 동시에 학습하는 통합 프레임워크를 개발한다.
• 분류기 가중치와 커널 가중치를 볼록 최소화 설정에서 반복적으로 최적화하는 자기학습 알고리즘을 제안한다.
• 적응형 다양성(가중 및 커널 기반 분류기 출력으로 측정)이 일관되게 향상된 앙상블 성능을 이끌어내는 것을 경험적으로 검증한다.

제안 방법

• 정확도와 적응형 다양성을 동시에 최대화하는 볼록 최소화 문제로 분류기 앙상블를 공식화한다.
• 분류기 출력의 다양성을 측정하기 위해 가중 커널을 도입하며, 커널 가중치는 데이터 분포와 노이즈를 반영하도록 자동으로 학습된다.
• 수렴 가능한 최적의 해를 확보하기 위해 분류기 가중치와 커널 가중치를 반복적으로 추정하는 자기학습 알고리즘을 사용한다.
• L2DWK-히ン지 손실 함수를 사용하여 커널 가중치를 계산하고 업데이트함으로써 다양한 데이터 조건 하에서도 강건한 최적화를 가능하게 한다.
• 선형, 가우시안, 다항식의 세 가지 커널 유형을 적용하여 다양한 데이터 분포를 모델링하는 데 유연성을 제공한다.
• 10겹 교차검증과 부트스트랩 검증 세트를 사용하며, 배깅과 랜덤 포레스트에서 유래한 총 301개의 기본 분류기 풀을 활용해 강력한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 분류기 출력에 대한 가중 커널 기반의 적응형 다양성은 앙상블 정확도 향상과 효과적으로 연결될 수 있는가?
• RQ2 분류기 가중치와 커널 가중치를 동시에 학습하는 것이 고정된 다양성 측정 방법이나 표준 앙상블 방법보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 제안된 L2DWK 방법은 다양한 데이터셋에서 배깅, 아다부스트, 랜덤 포레스트, 가센과 같은 최신 앙상블 기법과 비교해 어떻게 성능을 내는가?
• RQ4 다양한 커널 유형과 다양성 제어 파라미터 λ는 L2DWK의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 가중 커널 기반 프레임워크로 측정된 적응형 다양성과 앙상블 정확도 사이에 일관되고 양의 상관관계가 존재하는가?

주요 결과

• L2DWK는 32개의 UCI 기준 데이터셋 전반에서 배깅, 아다부스트, 랜덤 포레스트, 가센, 정규화된 선택적 앙상블, 준정적 프로그래밍을 통한 앙상블 정제 기법 등 최신 앙상블 기법을 모두 일관되게 능가한다.
• 데이터 노이즈나 분포에 적응하지 않는 전통적 다양성 측정 방법에 비해, 가중 커널 기반 다양성의 사용이 앙상블 정확도를 크게 향상시킨다.
• 분류기 가중치와 커널 가중치의 공동 최적화를 위한 자기학습 알고리즘이 신뢰성 있게 수렴하며, 최소한의 튜닝으로 뛰어난 성능을 달성한다.
• 가우시안 및 다항식 커널을 사용한 L2DWK는 다양한 특성 차원과 클래스 불균형을 가진 데이터셋에서도 뛰어난 일반화 성능을 보이며 안정적인 성능을 유지한다.
• 실험 결과, 학습된 커널 가중치로 측정된 적응형 다양성이 고정된 다양성 지표보다 더 강하고 일관된 상관관계를 보이며 앙상블 정확도에 기여함을 확인하였다.
• 절단 실험 결과, 가중 커널을 사용한 정확도 및 다양성 정규화 성분을 모두 포함할 경우 최고의 성능를 달성함을 입증하여 이중 최적화 목표의 타당성을 검증하였다.