[논문 리뷰] A New Fuzzy Stacked Generalization Technique for Deep learning and Analysis of its Performance

Mete Özay, Fatoş T. Yarman-Vural|arXiv (Cornell University)|2012. 04. 03.

Face and Expression Recognition참고 문헌 24인용 수 4

한 줄 요약

이 논문은 다양한 특징 부분집합에 대해 훈련된 다수의 퍼지 k-NN 분류기들을 융합하여 K-최근접 이웃 분류기의 성능을 향상시키는 새로운 앙상블 기법인 퍼지 스택드 제너럴라이제이션(FSG)을 제안한다. 각 분류기의 퍼지 소속도 출력을 메타-러닝 기반으로 융합함으로써, 소형 샘플과 대형 샘플 간의 분류 오차 격차를 줄이며, AdaBoost, 랜덤 서브스페이스, 로테이션 포레스트와 같은 최신 기법들을 초월하는 성능을 보인다. 다중 특징을 가진 실세계 데이터셋에서 검증되었다.

ABSTRACT

In this study, a new Stacked Generalization technique called Fuzzy Stacked Generalization (FSG) is proposed to minimize the difference between N -sample and large-sample classification error of the Nearest Neighbor classifier. The proposed FSG employs a new hierarchical distance learning strategy to minimize the error difference. For this purpose, we first construct an ensemble of base-layer fuzzy k- Nearest Neighbor (k-NN) classifiers, each of which receives a different feature set extracted from the same sample set. The fuzzy membership values computed at the decision space of each fuzzy k-NN classifier are concatenated to form the feature vectors of a fusion space. Finally, the feature vectors are fed to a meta-layer classifier to learn the degree of accuracy of the decisions of the base-layer classifiers for meta-layer classification. Rather than the power of the individual base layer-classifiers, diversity and cooperation of the classifiers become an important issue to improve the overall performance of the proposed FSG. A weak base-layer classifier may boost the overall performance more than a strong classifier, if it is capable of recognizing the samples, which are not recognized by the rest of the classifiers, in its own feature space. The experiments explore the type of the collaboration among the individual classifiers required for an improved performance of the suggested architecture. Experiments on multiple feature real-world datasets show that the proposed FSG performs better than the state of the art ensemble learning algorithms such as Adaboost, Random Subspace and Rotation Forest. On the other hand, compatible performances are observed in the experiments on single feature multi-attribute datasets.

연구 동기 및 목표

• K-최근접 이웃 분류기에서 소형 샘플과 대형 샘플 간의 분류 오차 격차를 해소한다.
• 개별 분류기의 강도에만 의존하기보다는, 기본 분류기 간의 다양성과 협업을 활용하여 일반화 성능을 향상시킨다.
• 분류 성능 오차 격차를 최소화하기 위해 계층적 거리 학습 전략을 개발한다.
• 기본 분류기 결정의 신뢰도를 평가하는 메타-학습 프레임워크를 설계하여 앙상블 정확도를 향상시킨다.
• 전체 성능을 최대화하기 위한 기본 분류기 간 최적의 협업 패턴을 규명한다.

제안 방법

• 동일한 데이터셋에서 추출한 서로 다른 특징 부분집합에 대해 훈련된 기본층의 퍼지 k-NN 분류기 앙상블을 구성한다.
• 각 퍼지 k-NN 분류기의 결정 공간에서 퍼지 소속도 값을 계산하여 분류 신뢰도를 표현한다.
• 모든 기본 분류기의 퍼지 소속도 벡터를 연결하여 융합 공간의 특징 벡터를 형성한다.
• 기본 분류기의 결정 정확도를 학습하기 위해 융합된 특징 벡터를 기반으로 메타-층 분류기를 훈련시킨다.
• 융합 과정을 최적화하고 N-샘플과 대형 샘플 오차율 간 격차를 줄이기 위해 계층적 거리 학습 전략을 적용한다.
• 특징 공간의 다양한 영역에서의 신뢰도에 따라 메타-러너이터를 활용해 기본 분류기 출력을 동적으로 가중 및 융합한다.

실험 결과

연구 질문

• RQ1 K-최근접 이웃 분류기에서 소형 샘플과 대형 샘플 간의 분류 오차 격차를 어떻게 최소화할 수 있는가?
• RQ2 제안된 FSG 아키텍처에서 기본 분류기 간의 어떤 협업 방식이 앙상블 성능 향상에 기여하는가?
• RQ3 메타-러너이터가 기본 분류기 결정의 신뢰도를 효과적으로 평가하고 활용하여 전체 정확도를 향상시킬 수 있는가?
• RQ4 다중 특징 데이터셋에서 제안된 FSG는 AdaBoost, 랜덤 서브스페이스, 로테이션 포레스트와 같은 기존 앙상블 기법보다 어떻게 비교되는가?
• RQ5 FSG 아키텍처에서 약한 기본 분류기가 강한 분류기보다 전체 성능에 더 기여하는 조건은 무엇인가?

주요 결과

• FSG는 AdaBoost, 랜덤 서브스페이스, 로테이션 포레스트와 같은 최신 앙상블 학습 알고리즘보다 다중 특징 실세계 데이터셋에서 뚜렷한 성능 우위를 보인다.
• 효율적인 계층적 거리 학습과 메타 수준 융합을 통해 N-샘플과 대형 샘플 간의 분류 오차 격차를 줄였다.
• 기본 분류기 간의 다양성과 협업이 개별 분류기의 강도보다 성능 향상에 더 중요하다.
• 약한 기본 분류기가 유일한 특징 공간에서 다른 분류기들이 잘못 분류한 샘플을 포착할 경우 전체 성능을 향상시킬 수 있다.
• 단일 특징, 다중 속성 데이터셋에서 유사한 성능 수준이 관찰되어, 데이터 복잡도 수준에 관계없이 강건함을 입증했다.
• 메타-러너이터는 기본 분류기 결정의 정확도 정도를 효과적으로 학습하여 신뢰할 수 있는 앙상블 출력 생성이 가능했다.