[논문 리뷰] Reliable Evaluation of Neural Network for Multiclass Classification of Real-world Data

S Inamadar Dinesh, Tirtharaj Dash|arXiv (Cornell University)|2016. 11. 30.

Neural Networks and Applications참고 문헌 5인용 수 5

한 줄 요약

이 논문은 다중분류 신경망 분류기의 성능을 정확도 이외의 여러 성능 지표를 사용하여 평가하며, 왜곡된 실세계 데이터셋에서는 예측 정확도가 신뢰할 수 없다는 것을 입증한다. 연구는 특히 클래스 불균형이 존재할 경우, 마이크로- 및 매크로-평균 정밀도, 재현율, F-스코어가 더 견고한 평가를 제공한다는 것을 보여준다.

ABSTRACT

This paper presents a systematic evaluation of Neural Network (NN) for classification of real-world data. In the field of machine learning, it is often seen that a single parameter that is 'predictive accuracy' is being used for evaluating the performance of a classifier model. However, this parameter might not be considered reliable given a dataset with very high level of skewness. To demonstrate such behavior, seven different types of datasets have been used to evaluate a Multilayer Perceptron (MLP) using twelve(12) different parameters which include micro- and macro-level estimation. In the present study, the most common problem of prediction called 'multiclass' classification has been considered. The results that are obtained for different parameters for each of the dataset could demonstrate interesting findings to support the usability of these set of performance evaluation parameters.

연구 동기 및 목표

• 다중분류에서 신경망 성능 평가의 유일한 지표로 예측 정확도에 대한 과도한 의존을 해결하기 위해.
• 특히 마이크로- 및 매크로-평균 측정치를 포함한 다양한 성능 지표가 왜곡된 실세계 데이터셋에서 얼마나 신뢰할 수 있는지 조사하기 위해.
• 높은 정확도가 소수 클래스에서의 열악한 성능을 가리킬 수 있으며, 특히 불균형 데이터셋에서 그러한 경향이 심화된다는 것을 입증하기 위해.
• 신뢰할 수 있는 모델 평가를 보장하기 위해 다수의 상호보완적 지표를 사용한 체계적인 평가 프레임워크를 제공하기 위해.

제안 방법

• 다양한 수준의 클래스 왜곡을 가진 일곱 개인 실세계 데이터셋에서 다층 퍼셉트론(MLP)을 평가하였다.
• 마이크로- 및 매크로-평균 정밀도, 재현율, F-스코어, 특이도를 포함한 12개의 성능 지표를 사용하여 다양한 클래스 분포에서의 모델 행동을 평가하였다.
• 은닉 뉴런 수를 60, 80, 100으로 다양하게 설정하여 아키텍처 복잡성의 성능 지표에 대한 영향을 분석하였다.
• 마이크로 및 매크로 수준에서 표준 분류 지표(정확도, 정밀도, 재현율, F-스코어)를 계산하여 특정 클래스 성능 불균형을 탐지하였다.
• 다양한 왜곡 조건에서 지표 신뢰성에 대한 패턴을 식별하기 위해 데이터셋 간 결과를 비교하였다.
• Sokolova와 Lapalme(2009)의 기반으로 다중분류 확장용으로 적응된 혼동 행렬 및 표준 평가 식(예: F-스코어, 정밀도, 재현율)을 사용하였다.

실험 결과

연구 질문

• RQ1 데이터셋의 왜곡 정도가 높을 경우, 다중분류에서 신경망 성능 평가에 예측 정확도가 신뢰할 수 있는 지표인가?
• RQ2 불균형 데이터셋에서 모델 신뢰성을 탐지할 때, 마이크로- 및 매크로-평균 성능 지표는 정확도에 비해 어떻게 비교되는가?
• RQ3 MLP의 은닉 뉴런 수를 늘릴수록 모든 평가 지표에서 성능 향상이 일관되게 이루어지는가?
• RQ4 정밀도, 재현율, F-스코어와 같은 지표들은 정확도만으로는 드러나지 않는 특정 클래스 성능 문제를 어느 정도 드러내는가?
• RQ5 실세계 다중분류 데이터셋에서 내재된 클래스 불균형이 존재할 경우, 어떤 성능 지표가 가장 견고한 평가를 제공하는가?

주요 결과

• Abalone 데이터셋에서 ~92% 수준의 높은 예측 정확도가 소수 클래스에서의 정밀도 또는 F-스코어가 열악함을 나타내어 성능이 열악함을 시사한다.
• Abalone, E-coli, Glass 데이터셋에서는 정확도만으로는 오해의 소지가 있었으며, 마이크로- 및 매크로-평균 지표가 특정 클래스에서의 성능 저하를 드러내었다.
• 유방암 데이터셋은 은닉 뉴런 수 증가에 따라 모든 지표에서 일관된 향상을 보였으며, 이는 정확도가 이보다 덜 왜곡된 데이터셋에서 신뢰할 수 있는 지표임을 시사한다.
• Iris 데이터셋에서는 80개의 은닉 뉴런에서 최적의 성능을 기록했으며, 마이크로- 및 매크로-정밀도와 재현율이 뛰어나, 지표 다양성의 중요성을 강조한다.
• Wine 데이터셋은 은닉 뉴런 수 증가에 따라 모든 지표에서 안정적인 향상을 보였으며, 이는 균형 잡힌 클래스 분포로 인해 정확도가 합리적인 대체 지표가 되었다는 것을 시사한다.
• 연구에서 경사 하강법가 항상 최적의 가중치 조합으로 수렴하지는 않으며, 초기 무작위 가중치가 결과에 큰 영향을 미쳐 런 간 성능 변동성이 있음을 발견하였다.