[논문 리뷰] Data Separability for Neural Network Classifiers and the Development of a Separability Index

Shuyue Guan, Murray H. Loew외 1명|arXiv (Cornell University)|2020. 05. 27.

Machine Learning and Data Classification참고 문헌 18인용 수 7

한 줄 요약

이 논문은 신경망 분류기의 데이터셋 분리 가능성( separability )을 수량화하기 위한 모델에 종속되지 않는 측정법인 거리 기반 분리 가능성 지수(Distance-based Separability Index, DSI)를 소개한다. 교차 클래스 간 거리와 내부 클래스 거리를 분석함으로써 DSI는 훈련 수렴 속도와 정확도를 효과적으로 예측하며, 합성 데이터와 실제 데이터셋에서 기존 측정법보다 뛰어난 성능을 보이며, 머신러닝 워크플로우에서 더 나은 데이터 품질 평가와 모델 선택을 가능하게 한다.

ABSTRACT

In machine learning, the performance of a classifier depends on both the classifier model and the dataset. For a specific neural network classifier, the training process varies with the training set used; some training data make training accuracy fast converged to high values, while some data may lead to slowly converged to lower accuracy. To quantify this phenomenon, we created the Distance-based Separability Index (DSI), which is independent of the classifier model, to measure the separability of datasets. In this paper, we consider the situation where different classes of data are mixed together in the same distribution is most difficult for classifiers to separate, and we show that the DSI can indicate whether data belonging to different classes have similar distributions. When comparing our proposed approach with several existing separability/complexity measures using synthetic and real datasets, the results show the DSI is an effective separability measure. We also discussed possible applications of the DSI in the fields of data science, machine learning, and deep learning.

연구 동기 및 목표

• 다양한 데이터셋 간 신경망 훈련 성능의 변동성을 다루기 위해, 특히 수렴 속도와 정확도가 크게 다를 경우에 대비한다.
• 분류기 아키텍처에 종속되지 않는, 서로 다른 클래스의 데이터가 얼마나 쉽게 분리될 수 있는지를 수량화하는 모델에 종속되지 않는 지표를 개발한다.
• 겹치는 또는 유사한 클래스 분포를 가진 데이터가 본질적으로 더 분류하기 어려운지 평가하고, 그 어려움을 수량화한다.
• 데이터 과학자와 머신러닝 전문가가 훈련 전에 데이터 품질을 평가하고 분류기 성능을 예측할 수 있는 실용적인 도구를 제공한다.

제안 방법

• DSI는 특성 공간 내 평균 교차 클래스 거리와 평균 내부 클래스 거리의 비율에 기반하여 계산된다.
• 유클리드 거리를 사용하여 서로 다른 클래스의 데이터 포인트 간의 분리 정도와 각 클래스 내의 응집도를 측정한다.
• 지수는 0에서 1 사이로 정규화되며, 높은 값일수록 더 좋은 분리 가능성을 의미한다.
• 정규화된 클래스 겹침을 가진 합성 데이터와 실제 데이터셋에 적용하여 강인성을 검증한다.
• 분류 정확도와 수렴 속도를 지표로 하여 기존의 분리 가능성 및 복잡도 측정법과의 비교 평가를 수행한다.
• DSI는 다양한 신경망 아키텍처를 통해 분류기 모델에 독립적임을 확인하기 위해 평가된다.

실험 결과

연구 질문

• RQ1 데이터셋의 클래스 겹침 정도가 신경망 분류기의 수렴 속도와 최종 정확도에 어떤 영향을 미치는가?
• RQ2 훈련 전에 데이터셋의 본질적 분리 가능성을 수량화할 수 있는 모델에 종속되지 않는 지표를 개발할 수 있는가?
• RQ3 제안된 DSI는 기존의 분리 가능성 측정법보다 분류기 성능 예측에 얼마나 우수한가?
• RQ4 DSI는 손실 감소 및 정확도 향상과 같은 훈련 동역학과 얼마나 강한 상관관계를 가지는가?

주요 결과

• DSI는 겹치는 클래스 분포를 가진 데이터의 분리 어려움을 효과적으로 포착하며, DSI 값이 클수록 수렴 속도가 빠르고 정확도가 높아진다.
• 합성 데이터셋에서 DSI는 훈련 수렴 속도와 최종 모델 정확도와 강한 상관관계를 보이며, 기준선 분리 가능성 측정법을 능가했다.
• 실제 데이터셋에서는 DSI가 클래스 겹침으로 인해 본질적으로 더 분류하기 어려운 분포를 성공적으로 식별했다.
• DSI는 다양한 신경망 아키텍처에서 강인성을 보이며, 분류기 모델에 독립적임을 확인했다.
• 유사한 복잡도를 가졌지만 분리 가능성은 다른 데이터셋을 구분할 수 있었으며, 이는 DSI가 클래스 분포 특성에 민감함을 드러냈다.