[논문 리뷰] A New Fuzzy Stacked Generalization Technique and Analysis of its Performance

Mete Özay, Fatoş T. Yarman Vural|arXiv (Cornell University)|2012. 04. 01.

Face and Expression Recognition참고 문헌 59인용 수 32

한 줄 요약

이 논문은 다양한 특징 부분집합에서 작동하는 다수의 퍼지 k-NN 분류기들을 조합하여 최근접 이웃 분류기의 성능을 향상시키는 새로운 앙상블 학습 기법인 퍼지 스태킹 일반화(FSG)를 제안한다. 이 기법은 메타-학습기에게 퍼지 소속도 출력을 융합함으로써 소표본과 대표표본의 오차율 간 격차를 줄이며, 다중 특징을 가진 실세계 데이터셋에서 AdaBoost, 랜덤 서브스페이스, 로테이션 포레스트와 같은 최신 기술들을 능가한다.

ABSTRACT

In this study, a new Stacked Generalization technique called Fuzzy Stacked Generalization (FSG) is proposed to minimize the difference between N -sample and large-sample classification error of the Nearest Neighbor classifier. The proposed FSG employs a new hierarchical distance learning strategy to minimize the error difference. For this purpose, we first construct an ensemble of base-layer fuzzy k- Nearest Neighbor (k-NN) classifiers, each of which receives a different feature set extracted from the same sample set. The fuzzy membership values computed at the decision space of each fuzzy k-NN classifier are concatenated to form the feature vectors of a fusion space. Finally, the feature vectors are fed to a meta-layer classifier to learn the degree of accuracy of the decisions of the base-layer classifiers for meta-layer classification. Rather than the power of the individual base layer-classifiers, diversity and cooperation of the classifiers become an important issue to improve the overall performance of the proposed FSG. A weak base-layer classifier may boost the overall performance more than a strong classifier, if it is capable of recognizing the samples, which are not recognized by the rest of the classifiers, in its own feature space. The experiments explore the type of the collaboration among the individual classifiers required for an improved performance of the suggested architecture. Experiments on multiple feature real-world datasets show that the proposed FSG performs better than the state of the art ensemble learning algorithms such as Adaboost, Random Subspace and Rotation Forest. On the other hand, compatible performances are observed in the experiments on single feature multi-attribute datasets.

연구 동기 및 목표

• 최근접 이웃 분류기에서 소표본 오차율과 대표표본 오차율 간 성능 격차를 해소한다.
• 강력한 개별 모델에 의존하기보다는 약한 기본 분류기 간의 다양성과 협업을 활용하여 분류 정확도를 향상시킨다.
• 다양한 표본 크기에서의 오차 차이를 최소화하기 위해 계층적 거리 학습 전략을 개발한다.
• 기본 분류기 결정의 신뢰도를 평가하는 메타-학습 프레임워크를 설계하여 앙상블의 일반화 성능을 향상시킨다.
• 다중 특징 실세계 데이터셋에서 기존의 앙상블 기법들보다 뛰어난 성능을 입증한다.

제안 방법

• 동일한 데이터셋에서 추출한 서로 다른 특징 부분집합에 대해 훈련된 기본층 퍼지 k-NN 분류기들의 앙상블을 구성한다.
• 각 기본 분류기의 결정 공간에서 각 샘플의 퍼지 소속도 값을 계산하여 분류 신뢰도를 표현한다.
• 모든 기본 분류기의 퍼지 소속도 벡터를 결합하여 통합 융합 공간을 형성한다. 이는 기존 분류기들의 집합적 출력을 나타낸다.
• 융합 공간에서 메타-층 분류기를 훈련하여 각 기본 분류기의 결정 정확도 수준을 학습한다. 이를 통해 최종 예측 성능을 향상시킨다.
• 융합 과정을 최적화하고 N-표본 오차율과 대표표본 오차율 간 격차를 최소화하기 위해 계층적 거리 학습 전략을 적용한다.
• 개별 분류기의 강도보다는 분류기 간 다양성과 협업을 우선시하여, 약하지만 상호보완적인 분류기들이 전체 성능 향상에 기여하도록 한다.

실험 결과

연구 질문

• RQ1 퍼지 k-NN 분류기를 기반으로 한 스태킹 일반화 프레임워크가 최근접 이웃 분류에서 소표본과 대표표본 오차율 간 격차를 줄일 수 있는가?
• RQ2 제안된 FSG 아키텍처에서 최적의 성능을 내기 위해 기본 분류기 간 어떤 협업 방식이 가장 효과적인가?
• RQ3 다중 특징 실세계 데이터셋에서 FSG의 성능은 AdaBoost, 랜덤 서브스페이스, 로테이션 포레스트와 같은 기존 앙상블 방법과 비교해 어떻게 되는가?
• RQ4 기본 분류기의 다양성이 FSG 아키텍처에서 일반화 성능 향상에 기여하는 정도는 얼마나 되는가? 개별 분류기의 강도에 비해 얼마나 중요한가?
• RQ5 메타-학습기가 기본 분류기 결정의 신뢰도를 효과적으로 평가하고 활용하여 최종 분류 정확도를 향상시킬 수 있는가?

주요 결과

• 계층적 거리 학습과 퍼지 융합을 통해 FSG는 최근접 이웃 분류기에서 N-표본과 대표표본 오차율 간 격차를 크게 줄였다.
• 제안된 방법은 다수의 다중 특징 실세계 데이터셋에서 AdaBoost, 랜덤 서브스페이스, 로테이션 포레스트와 같은 최신 앙상블 알고리즘을 능가한다.
• 단일 특징, 다중 속성 데이터셋에서는 기존 방법들과 유사한 성능을 달성하여 다양한 데이터 유형에 대한 강건성을 입증했다.
• 약한 기본 분류기가 다른 분류기가 간과한 샘플을 인식할 경우, 더 강력한 분류기보다 더 큰 기여를 할 수 있음을 보여주며, 다양성의 중요성을 강조한다.
• 메타-학습기가 결정의 신뢰도를 평가함으로써 일반화 성능이 향상되며, 특히 서로 다른 분류기들이 상호보완적일 경우 더욱 두드러진다.
• 실험 결과에 따르면, 기본 분류기 간 협업과 다양성이 개별 모델의 강도보다 성능 향상에 더 중요한 요소임을 확인했다.