[论文解读] Automatic Pattern Classification by Unsupervised Learning Using Dimensionality Reduction of Data with Mirroring Neural Networks

Dasika Ratna Deepthi, G. R. Aditya Krishna+1 more|ArXiv.org|Dec 6, 2007

Neural Networks and Applications参考文献 13被引用 6

一句话总结

本文提出一种无监督模式分类方法，采用多层镜像神经网络进行非线性降维，随后应用Forgy聚类算法。该网络将输入数据压缩至原始大小的约1/30，同时保持良好的可重构性，压缩后的特征被分类为不同类别，在图像模式上的聚类性能得到提升。

ABSTRACT

This paper proposes an unsupervised learning technique by using Multi-layer Mirroring Neural Network and Forgy's clustering algorithm. Multi-layer Mirroring Neural Network is a neural network that can be trained with generalized data inputs (different categories of image patterns) to perform non-linear dimensionality reduction and the resultant low-dimensional code is used for unsupervised pattern classification using Forgy's algorithm. By adapting the non-linear activation function (modified sigmoidal function) and initializing the weights and bias terms to small random values, mirroring of the input pattern is initiated. In training, the weights and bias terms are changed in such a way that the input presented is reproduced at the output by back propagating the error. The mirroring neural network is capable of reducing the input vector to a great degree (approximately 1/30th the original size) and also able to reconstruct the input pattern at the output layer from this reduced code units. The feature set (output of central hidden layer) extracted from this network is fed to Forgy's algorithm, which classify input data patterns into distinguishable classes. In the implementation of Forgy's algorithm, initial seed points are selected in such a way that they are distant enough to be perfectly grouped into different categories. Thus a new method of unsupervised learning is formulated and demonstrated in this paper. This method gave impressive results when applied to classification of different image patterns.

研究动机与目标

• 开发一种无需标注数据的无监督学习框架，实现自动模式分类。
• 利用非线性降维技术对高维图像模式数据进行压缩。
• 通过在Forgy算法中以最大分离的初始质心初始化种子点，提升聚类准确率。
• 证明镜像神经网络在压缩过程中对结构信息的保留能力。
• 提供一种可扩展、通用的图像模式分类方法，适用于多种图像模式类别。

提出的方法

• 使用反向传播训练多层镜像神经网络，从低维压缩代码中重建输入模式。
• 网络采用改进的S形激活函数，并通过小随机权重/偏置初始化启动模式镜像。
• 通过最小化重建误差来实现降维，将输入向量压缩至原始大小的约1/30。
• 中间隐藏层的输出作为聚类用的压缩特征表示。
• 对压缩后的特征应用Forgy的k-means聚类算法，初始种子点选择为足够远距离，以确保形成独立的聚类。
• 该方法在多种图像模式数据集上进行训练与测试，性能通过分类准确率和重建保真度进行评估。

实验结果

研究问题

• RQ1 镜像神经网络能否在多样化图像模式上有效实现非线性降维？
• RQ2 镜像网络生成的压缩特征表示是否相比标准方法能实现更优的无监督聚类？
• RQ3 网络从压缩代码中重建原始输入模式的能力如何？
• RQ4 Forgy算法中初始种子点选择策略对聚类性能有何影响？
• RQ5 所提方法能否在无标注数据条件下泛化至不同类别的图像模式？

主要发现

• 多层镜像神经网络成功将输入数据压缩至原始大小的约1/30，同时保持了高重建精度。
• 仅使用低维代码，网络在输出层即实现了有效的模式重建，证明了特征保留能力出色。
• 在Forgy算法中采用最大分离的初始种子点显著提升了聚类分离度与分类性能。
• 该方法在多种图像模式数据集上表现出色，表明其具备鲁棒性与泛化能力。
• 将非线性降维与无监督聚类相结合，为模式分类提供了一种可行的替代监督方法。
• 该方法具有可扩展性，适用于通用图像模式输入，且无需预先标注。