[论文解读] Data Separability for Neural Network Classifiers and the Development of a Separability Index

Shuyue Guan, Murray H. Loew+1 more|arXiv (Cornell University)|May 27, 2020

Machine Learning and Data Classification参考文献 18被引用 7

一句话总结

本文提出了基于距离的可分性指数（DSI），一种与模型无关的度量方法，用于量化神经网络分类器的训练数据集可分性。通过分析类间与类内距离，DSI能有效预测模型的训练收敛速度与准确率，在合成数据集和真实数据集上均优于现有度量方法，从而在机器学习工作流中实现更优的数据质量评估与模型选择。

ABSTRACT

In machine learning, the performance of a classifier depends on both the classifier model and the dataset. For a specific neural network classifier, the training process varies with the training set used; some training data make training accuracy fast converged to high values, while some data may lead to slowly converged to lower accuracy. To quantify this phenomenon, we created the Distance-based Separability Index (DSI), which is independent of the classifier model, to measure the separability of datasets. In this paper, we consider the situation where different classes of data are mixed together in the same distribution is most difficult for classifiers to separate, and we show that the DSI can indicate whether data belonging to different classes have similar distributions. When comparing our proposed approach with several existing separability/complexity measures using synthetic and real datasets, the results show the DSI is an effective separability measure. We also discussed possible applications of the DSI in the fields of data science, machine learning, and deep learning.

研究动机与目标

• 为解决不同数据集在神经网络训练性能上的差异性，特别是收敛速度与准确率存在显著差异的问题。
• 开发一种与模型无关的度量指标，用于量化不同类别数据在不依赖分类器架构的前提下其可分离的难易程度。
• 评估具有重叠或相似类别分布的数据是否本质上更难分类，并对这种难度进行量化。
• 为数据科学家和机器学习从业者提供一种实用工具，用于在训练前评估数据质量并预测分类器性能。

提出的方法

• DSI 基于特征空间中类间平均距离与类内平均距离的比值进行计算。
• 采用欧氏距离度量不同类别数据点之间的分离程度以及各类内部的紧凑性。
• 该指数经过归一化处理，取值范围为 0 到 1，数值越高表示可分性越好。
• 该方法应用于具有可控类别重叠的合成数据以及真实世界数据集，以验证其鲁棒性。
• 通过分类准确率与收敛速度作为指标，与现有可分性与复杂度度量进行对比评估。
• 在多种神经网络架构上评估 DSI，以确认其与分类器模型的独立性。

实验结果

研究问题

• RQ1 数据集中类别重叠程度在多大程度上影响神经网络分类器的收敛速度与最终准确率？
• RQ2 能否开发一种与模型无关的度量指标，用于在训练前量化数据集的内在可分性？
• RQ3 所提出的 DSI 在预测分类器性能方面，相较于现有可分性度量有何表现？
• RQ4 DSI 与训练动态（如损失减少与准确率提升）的相关性在多大程度上显著？

主要发现

• DSI 有效捕捉了具有类别重叠分布数据的分离难度，DSI 值越高，收敛越快，准确率也越高。
• 在合成数据集上，DSI 与训练收敛速度及最终模型准确率表现出强相关性，优于基线可分性度量。
• 在真实世界数据集中，DSI 成功识别出因类别重叠而本质上更难分类的数据分布。
• DSI 在多种神经网络架构上表现出鲁棒性，证实其与分类器模型的独立性。
• 该指数能够区分复杂度相似但可分性不同的数据集，凸显其对类别分布特征的高度敏感性。