[논문 리뷰] The Effect of Structural Diversity of an Ensemble of Classifiers on Classification Accuracy

Lesedi Masisi, Fulufhelo V. Nelwamondo외 1명|ArXiv.org|2008. 04. 30.

Neural Networks and Applications참고 문헌 17인용 수 12

한 줄 요약

이 논문은 9개의 신경망 분류기로 구성된 앙상블에서 구조적 다양성이 분류 정확도에 미치는 영향을 조사한다. 유전적 알고리즘을 사용해 다양성을 갖는 아키텍처(은닉 뉴런 수, 학습률, 활성화 함수 변화)를 진화시켜, 다양성이 일정 수준까지 증가할수록 정확도가 향상되며, 다양성 측정치 0.16에서 정점에 도달하여 평균 제곱오차 0.274를 기록함을 발견했다. 이후 성능은 저하된다.

ABSTRACT

This paper aims to showcase the measure of structural diversity of an ensemble of 9 classifiers and then map a relationship between this structural diversity and accuracy. The structural diversity was induced by having different architectures or structures of the classifiers The Genetical Algorithms (GA) were used to derive the relationship between diversity and the classification accuracy by evolving the classifiers and then picking 9 classifiers out on an ensemble of 60 classifiers. It was found that as the ensemble became diverse the accuracy improved. However at a certain diversity measure the accuracy began to drop. The Kohavi-Wolpert variance method is used to measure the diversity of the ensemble. A method of voting is used to aggregate the results from each classifier. The lowest error was observed at a diversity measure of 0.16 with a mean square error of 0.274, when taking 0.2024 as maximum diversity measured. The parameters that were varied were: the number of hidden nodes, learning rate and the activation function.

연구 동기 및 목표

• 앙상블 학습에서 구조적 다양성과 분류 정확도 간의 관계를 조사하는 것.
• 은닉 뉴런 수, 학습률, 활성화 함수를 변화시켜 신경망 아키텍처를 다양화할 경우 앙상블 성능에 어떤 영향을 미치는지 탐색하는 것.
• 분류 정확도를 최대화하는 데 최적의 구조적 다각도 수준을 규명하는 것.
• 코하비-월퍼트 분산 방법이 앙상블 내 다각도를 측정하는 데 효과적인지 평가하는 것.
• 다각도를 증가시킬수록 분류 성능이 저하되기 시작하는 시점(점)을 규명하는 것.

제안 방법

• 60개의 서로 다른 신경망 분류기를 다양화된 아키텍처로 진화시키기 위해 유전적 알고리즘을 사용했다.
• 다양성 및 성능 기준에 따라 60개 중 9개의 분류기를 선별하여 앙상블을 구성했다.
• 은닉 뉴런 수, 학습률, 활성화 함수의 세 가지 핵심 초모수를 변화시켜 구조적 다각도를 유도했다.
• 앙상블의 다각도를 정량화하기 위해 코하비-월퍼트 분산 방법을 적용했다.
• 개별 분류기의 예측을 융합하는 투표 기반 메커니즘을 통해 최종 앙상블 출력을 도출했다.
• 분류 정확도는 평균 제곱오차를 사용해 평가하였으며, 다각도는 0.2024까지 정규화된 척도로 측정되었다.

실험 결과

연구 질문

• RQ1 신경망 분류기 앙상블에서의 구조적 다각도는 전체 분류 정확도에 어떤 영향을 미치는가?
• RQ2 신경망 앙상블에서 분류 정확도를 최대화하는 데 최적의 다각도 수준은 무엇인가?
• RQ3 다각도를 더 이상 증가시킬 경우, 분류 성능 저하가 시작되는 지점은 언제인가?
• RQ4 코하비-월퍼트 분산 방법은 신경망 앙상블 내 의미 있는 다각도를 효과적으로 캡처하는가?
• RQ5 은닉 뉴런 수, 학습률, 활성화 함수 중 어느 초모수가 구조적 다각도와 정확도에 가장 크게 영향을 미치는가?

주요 결과

• 구조적 다각도가 증가함에 따라 분류 정확도가 다양성 측정치 0.16에서 정점에 도달할 때까지 향상되었다.
• 다양성 수준 0.16에서 가장 낮은 평균 제곱오차 0.274를 기록하여 최적의 성능를 나타냈다.
• 다양성 측정치 0.16를 초과하면 분류 정확도가 감소하기 시작하여 다각도와 성능 간의 트레이드오���이 존재함을 시사했다.
• 실험에서 측정된 최대 다각도는 0.2024였으며, 이는 다각도 척도의 상한선으로 기능했다.
• 이 연구는 구조적 다각도가 앙상블 정확도에 상당한 영향을 미치며, 명확한 비선형 관계가 있음을 확인했다.
• 코하비-월퍼트 분산 방법은 다각도 추세를 효과적으로 포착하여, 앙상블 이질성 평가에 이 방법의 유용성을 뒷받침했다.