[论文解读] A Novel Generalized Artificial Neural Network for Mining Two-Class Datasets

Wei‐Chang Yeh|arXiv (Cornell University)|Oct 23, 2019

Neural Networks and Applications参考文献 8被引用 12

一句话总结

本文提出了一种用于二分类数据挖掘的新型广义神经网络（GNN），其中每个数据集属性作为节点，通过具有可靠性值的弧连接，可靠性值通过简化蚁群优化（SSO）进行优化。利用智能蒙特卡洛模拟（iMCS），近似计算GNN实例的可靠性，并与阈值比较以实现分类，其性能在基准数据集上与支持向量机（SVM）相当。

ABSTRACT

A novel general neural network (GNN) is proposed for two-class data mining in this study. In a GNN, each attribute in the dataset is treated as a node, with each pair of nodes being connected by an arc. The reliability is of each arc, which is similar to the weight in artificial neural network and must be solved using simplified swarm optimization (SSO), is constant. After the node reliability is made the transformed value of the related attribute, the approximate reliability of each GNN instance is calculated based on the proposed intelligent Monte Carlo simulation (iMCS). This approximate GNN reliability is then compared with a given threshold to predict each instance. The proposed iMCS-SSO is used to repeat the procedure and train the GNN, such that the predicted class values match the actual class values as much as possible. To evaluate the classification performance of the proposed GNN, experiments were performed on five well-known benchmark datasets. The computational results compared favorably with those obtained using support vector machines.

研究动机与目标

• 开发一种专用于二分类数据挖掘任务的新广义人工神经网络（GNN）。
• 将数据集属性建模为网络中的节点，节点间通过表示可靠性值的弧连接，类似于神经网络权重。
• 利用简化蚁群优化（SSO）优化弧的可靠性，以提高分类准确率。
• 采用智能蒙特卡洛模拟（iMCS）估算实例级别的GNN可靠性，用于分类决策。
• 通过iMCS-SSO框架迭代训练GNN，使预测的类别标签尽可能接近真实标签。

提出的方法

• 数据集中的每个属性在GNN中表示为一个节点，每对节点之间通过有向弧连接。
• 弧的可靠性（类似于神经网络权重）通过简化蚁群优化（SSO）进行优化。
• 基于属性值对节点可靠性进行变换，作为实例可靠性计算的基础。
• 使用智能蒙特卡洛模拟（iMCS）近似估算实例可靠性，以估计整体GNN的可靠性。
• 基于预设阈值，根据实例的近似GNN可靠性进行分类。
• 通过迭代应用iMCS-SSO框架训练GNN，调整弧的可靠性以最小化分类误差。

实验结果

研究问题

• RQ1 能否设计一种广义神经网络模型，以有效处理二分类数据挖掘任务，而无需依赖传统的反向传播？
• RQ2 如何优化属性网络中弧的可靠性以提升分类性能？
• RQ3 基于iMCS的可靠性估计在基准数据集上相较于传统分类方法的优越程度如何？
• RQ4 SSO能否有效优化GNN架构中的可靠性值以实现准确分类？
• RQ5 所提出的GNN与支持向量机等成熟模型相比，性能表现如何？

主要发现

• 所提出的GNN在五个知名基准数据集上的分类性能与支持向量机（SVM）相比表现相当出色。
• 采用iMCS进行可靠性估计，实现了有效且高效的分类，无需复杂的基于梯度的训练过程。
• SSO在优化弧可靠性方面表现有效，显著提升了预测类别标签与真实标签的一致性。
• GNN框架通过其基于网络的可靠性建模，在处理多种二分类数据集方面表现出强健性。
• 结果表明，iMCS-SSO训练过程成功地在多轮迭代中最小化了分类误差。
• 所提出方法为传统神经网络提供了一种可行替代方案，避免了反向传播，转而依赖群智能优化与模拟技术。