[论文解读] Finding hidden-feature depending laws inside a data set and classifying it using Neural Network

Thilo Moshagen, Nihal Acharya Adde+1 more|arXiv (Cornell University)|Jan 25, 2021

Fault Detection and Control Systems参考文献 3被引用 8

一句话总结

本文提出了一种方法，利用带有 logcosh 损失的神经网络来检测和分类由不同底层规则控制的数据中的隐藏聚类，特别是在集合值或多重模态函数中。通过利用 logcosh 损失对异常值的鲁棒性以及对主导聚类的偏好，该模型识别出主要的数据分支而非对它们进行平均，从而在存在噪声和特征有限的情况下，也能准确地将数据点分类到不同的功能区域中。

ABSTRACT

The logcosh loss function for neural networks has been developed to combine the advantage of the absolute error loss function of not overweighting outliers with the advantage of the mean square error of continuous derivative near the mean, which makes the last phase of learning easier. It is clear, and one experiences it soon, that in the case of clustered data, an artificial neural network with logcosh loss learns the bigger cluster rather than the mean of the two. Even more so, the ANN, when used for regression of a set-valued function, will learn a value close to one of the choices, in other words, one branch of the set-valued function, while a mean-square-error NN will learn the value in between. This work suggests a method that uses artificial neural networks with logcosh loss to find the branches of set-valued mappings in parameter-outcome sample sets and classifies the samples according to those branches.

研究动机与目标

• 解决在特征不足或隐藏时，从数据中识别出多个潜在功能关系的挑战。
• 开发一种方法，即使这些规则未被明确知晓或可观测，也能将数据点分类到由不同规则控制的独立聚类中。
• 通过利用 logcosh 损失对主导聚类的偏置，改进具有集合值映射的数据集中的模型选择与分类。
• 提供一种稳健的、数据驱动的方法，以检测定义不同数据区域的不可见或潜在特征。

提出的方法

• 该方法使用经过 logcosh 损失函数训练的神经网络，对输入-输出数据对进行回归，偏好近似输出空间中最大的聚类。
• 选择 logcosh 损失，是因为它在零附近具有平滑性（类似 MSE），同时对外部异常值的敏感性较低（类似 MAE），从而促进收敛到主导聚类。
• 训练完成后，将残差误差较高的数据点识别为属于不同的功能区域。
• 在高误差子集上训练一个新的神经网络，以学习下一个主导规则，该过程迭代进行，直到捕获所有显著聚类为止。
• 通过将每个数据点分配给预测残差误差最小的网络来执行分类。
• 该方法通过在单个数据集中检测多个功能规律而隐式实现模型选择，且无需事先了解聚类结构。

实验结果

研究问题

• RQ1 使用 logcosh 损失的神经网络能否有效识别并学习多重模态数据分布中的主导功能规则？
• RQ2 与均方误差（MSE）相比，logcosh 损失函数在捕捉集合值或多重值映射中的不同聚类方面表现如何？
• RQ3 当特征不足或隐藏时，该方法在多大程度上能将数据点分类到不同的潜在功能区域？
• RQ4 即使存在显著噪声和重叠数据点，该方法是否仍能检测并分离聚类？
• RQ5 在残差误差上迭代重新训练是否能可靠地揭示数据集中所有主要功能分支？

主要发现

• 与基于 MSE 的网络不同，使用 logcosh 损失的神经网络在双聚类数据分布中始终学习较大的聚类，而非聚类之间的平均值。
• 在 1D 和 2D 测试案例中，当主导函数（Φ₁ 或 Φ₂）占数据的 60% 或以上时，基于 logcosh 的网络即使在添加噪声后也能准确预测主导函数。
• 通过在残差误差上迭代训练，该方法成功地将数据点分类到不同的功能区域，表现出对噪声和重叠聚类的鲁棒性。
• 当主导聚类超过数据的 60% 时，网络以高精度预测出正确的函数，证实了其检测主要规则的能力。
• 与基于 MSE 的网络相比，该方法在保留聚类身份方面表现更优，因为基于 MSE 的网络会收敛到聚类之间的平均值，从而掩盖了真实的函数分支。
• 该方法能够检测到定义不同数据区域的隐藏或潜在特征，即使这些特征在输入数据中未被显式提供。