[论文解读] Dimensionality Reduction and Reconstruction using Mirroring Neural Networks and Object Recognition based on Reduced Dimension Characteristic Vector

Dasika Ratna Deepthi, Sujeet Kuchibhotla+1 more|ArXiv.org|Dec 6, 2007

Neural Networks and Applications参考文献 7被引用 4

一句话总结

本文提出了一种用于非线性降维与重构的镜像神经网络（MNN）架构，通过低维特征向量实现物体识别。该网络采用收敛-发散结构，外层神经元数量更多，通过反向传播均方误差进行训练以重构输入模式，在保留分类判别特征的同时实现有效的降维。

ABSTRACT

In this paper, we present a Mirroring Neural Network architecture to perform non-linear dimensionality reduction and Object Recognition using a reduced lowdimensional characteristic vector. In addition to dimensionality reduction, the network also reconstructs (mirrors) the original high-dimensional input vector from the reduced low-dimensional data. The Mirroring Neural Network architecture has more number of processing elements (adalines) in the outer layers and the least number of elements in the central layer to form a converging-diverging shape in its configuration. Since this network is able to reconstruct the original image from the output of the innermost layer (which contains all the information about the input pattern), these outputs can be used as object signature to classify patterns. The network is trained to minimize the discrepancy between actual output and the input by back propagating the mean squared error from the output layer to the input layer. After successfully training the network, it can reduce the dimension of input vectors and mirror the patterns fed to it. The Mirroring Neural Network architecture gave very good results on various test patterns.

研究动机与目标

• 开发一种能够实现非线性降维同时保留输入模式信息的神经网络架构。
• 实现从降维后的低维表示中重构原始高维输入。
• 将压缩表示用作稳定物体特征签名，以支持鲁棒的模式分类。
• 通过从输出层到输入层的均方误差反向传播进行网络训练。
• 在多样化测试模式上评估降维与物体识别性能。

提出的方法

• 镜像神经网络采用收敛-发散架构，外层神经元数量最多，中心层神经元数量最少。
• 网络通过最小化重构输出与原始输入向量之间的均方误差进行训练。
• 从输出层反向传播至输入层，调整权重以提高重构保真度。
• 中心层的输出作为表示输入模式的降维特征向量。
• 训练完成后，将该特征向量用作物体识别的特征签名。
• 该架构支持降维与输入模式的完整重构。

实验结果

研究问题

• RQ1 神经网络架构能否在实现准确重构原始输入的同时，有效完成非线性降维？
• RQ2 从网络中心层提取的降维特征向量在支持物体识别任务方面表现如何？
• RQ3 具有非对称层分布的镜像结构是否相比标准自编码器在重构与特征提取方面表现更优？
• RQ4 MNN在多样化测试模式上的表现如何，体现在重构误差与分类准确率方面？
• RQ5 网络能否在保持低维表示保真度的同时，对不同输入模式实现良好泛化？

主要发现

• 镜像神经网络能够从中心层的降维表示中高质量地重构输入模式。
• 从中心层提取的低维特征向量可作为物体识别的有效特征签名。
• 该网络在各种测试模式上表现出色，表明对输入变化具有强鲁棒性。
• 通过均方误差的反向传播，该架构成功最小化了重构误差。
• 收敛-发散结构在降维过程中增强了特征提取与信息保留能力。
• 该方法提供了稳定且紧凑的表示，适用于分类任务。