[논문 리뷰] Relationship between Diversity and Perfomance of Multiple Classifiers for Decision Support

R Musehane, F Netshiongolwe외 3명|ArXiv.org|2008. 10. 21.

Neural Networks and Applications참고 문헌 13인용 수 3

한 줄 요약

이 논문은 의사결정 지원을 위한 앙상블 신경망 분류기에서 구조적 다양성과 분류 정확도 간의 관계를 조사한다. 다양성을 유도하기 위해 은닉 노드 수와 활성화 함수를 다양하게 조정하고, 샤논 및 심슨 다양성 측도를 활용하여 앙상블 성능을 최적화하기 위해 유전 알고리즘을 사용함으로써, 높은 다양성에서 3%-6%의 정확도 향상을 입증함으로써, 구조적 다양성이 앙상블 일반화 능력을 향상시킨다는 것을 확인한다.

ABSTRACT

The paper presents the investigation and implementation of the relationship between diversity and the performance of multiple classifiers on classification accuracy. The study is critical as to build classifiers that are strong and can generalize better. The parameters of the neural network within the committee were varied to induce diversity; hence structural diversity is the focus for this study. The hidden nodes and the activation function are the parameters that were varied. The diversity measures that were adopted from ecology such as Shannon and Simpson were used to quantify diversity. Genetic algorithm is used to find the optimal ensemble by using the accuracy as the cost function. The results observed shows that there is a relationship between structural diversity and accuracy. It is observed that the classification accuracy of an ensemble increases as the diversity increases. There was an increase of 3%-6% in the classification accuracy.

연구 동기 및 목표

• 의사결정 지원을 위한 다중 분류기 시스템에서 다양성과 성능 간의 관계를 조사하기 위해.
• 신경망 위원회에 구조적 다양성을 유도하여 일반화 능력과 분류 정확도를 향상시키기 위해.
• 기계학습 맥락에서 생태학적 측도(샤논 및 심슨 지수)를 사용하여 다양성을 정량화하기 위해.
• 분류 정확도를 적합도 함수로 삼아 앙상블 성능을 최적화하기 위해 유전 알고리즘을 사용하기 위해.
• 구조적 다양성이 증가할수록 분류 정확도가 높아진다는 것을 검증하기 위해.

제안 방법

• 앙상블 내에서 구조적 다양성을 유도하기 위해 개별 신경망의 은닉 노드 수와 활성화 함수를 다양하게 조정하기 위해.
• 앙상블 전반의 예측 다양성을 측정하기 위해 샤논 및 심슨 다양성 측도를 적용하기 위해.
• 분류 정확도를 비용 함수로 삼아 최적의 분류기 조합을 찾기 위해 유전 알고리즘을 사용하기 위해.
• 성능 향상이 다양성에 기인한 것인지 평가하기 위해 데이터셋에 대해 앙상블을 훈련하고 테스트하기 위해.
• 정확도를 극대화하면서 다양성 지표를 추적하기 위해 반복적으로 분류기 구성 구성을 진화시키기 위해.
• 다양한 런에 걸쳐 다양성 수준과 최종 분류 정확도 간의 상관관계를 평가하기 위해.

실험 결과

연구 질문

• RQ1 신경망 위원회에서 구조적 다양성을 증가시키면 분류 정확도가 향상되는가?
• RQ2 샤논 및 심슨과 같은 생태학적 다양성 측도가 기계학습 앙상블에서 다양성을 효과적으로 측정할 수 있는가?
• RQ3 성능을 극대화하는 데 최적의 다양성 수준이 존재하는가?
• RQ4 다양성이 제어된 상태에서 유전 알고리즘 최적화가 정확도 향상에 얼마나 기여하는가?
• RQ5 은닉 노드 수와 활성화 함수의 변화가 다양성-성능 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 앙상블 시스템에서 구조적 다양성과 분류 정확도 사이에 정적인 상관관계가 관찰되었다.
• 샤논 및 심슨 다양성 측도가 분류기 출력의 변동성을 효과적으로 포착하였다.
• 구조적 다양성이 증가함에 따라 분류 정확도가 3%에서 6% 향상되었다.
• 유전 알고리즘이 정확도 최적화를 통해 고성능 앙상블 구성 요소를 성공적으로 식별하였다.
• 은닉 노드 수와 활성화 함수를 다양하게 조정하는 것이 구조적 다양성을 효과적으로 유도하는 데 유용하였다.
• 결과는 다양성이 다중 분류기 시스템의 일반화 능력을 향상시키는 데 핵심 요소임을 확인한다.