[论文解读] Dimension Reduction with Non-degrading Generalization

Pitoyo Hartono|arXiv (Cornell University)|Aug 5, 2015

Neural Networks and Applications参考文献 26被引用 6

一句话总结

本文提出受限径向基函数网络（rRBF）用于降维，通过学习上下文相关的自组织映射（CRSOM），在2D可视化中保持分类性能。与PCA、LDA或流形学习方法不同，rRBF通过监督学习保持类邻域结构，实现与原始高维空间几乎相同的泛化性能，使可视化既直观又具预测性。

ABSTRACT

Visualizing high dimensional data by projecting them into two or three dimensional space is one of the most effective ways to intuitively understand the data's underlying characteristics, for example their class neighborhood structure. While data visualization in low dimensional space can be efficient for revealing the data's underlying characteristics, classifying a new sample in the reduced-dimensional space is not always beneficial because of the loss of information in expressing the data. It is possible to classify the data in the high dimensional space, while visualizing them in the low dimensional space, but in this case, the visualization is often meaningless because it fails to illustrate the underlying characteristics that are crucial for the classification process. In this paper, the performance-preserving property of the previously proposed Restricted Radial Basis Function Network in reducing the dimension of labeled data is explained. Here, it is argued through empirical experiments that the internal representation of the Restricted Radial Basis Function Network, which during the supervised learning process organizes a visualizable two dimensional map, does not only preserve the topographical structure of high dimensional data but also captures their class neighborhood structures that are important for classifying them. Hence, unlike many of the existing dimension reduction methods, the Restricted Radial Basis Function Network offers two dimensional visualization that is strongly correlated with the classification process.

研究动机与目标

• 解决将高维数据降维至2D进行可视化时分类性能下降的问题。
• 证明降维可在不牺牲泛化准确率的前提下保持类邻域结构。
• 验证rRBF内部的CRSOM表示在拓扑结构和类结构上均具有保持能力。
• 在基准数据集上，将rRBF的可视化与分类性能与PCA、LDA、NCA和t-SNE进行比较。
• 确立通过rRBF进行监督降维可实现有意义且性能保持的可视化，适用于分类任务。

提出的方法

• rRBF采用分层监督神经网络架构，其内部包含一个称为上下文相关自组织映射（CRSOM）的2D表示层。
• 训练过程中，CRSOM基于类别标签和局部邻域关系组织数据，最小化分类误差。
• 学习过程采用动态递减的学习率（从50降至0.01），并通过隐藏层的误差最小化进行优化。
• 评估采用k=3的最近邻分类器，因其在所有数据集上均表现出最佳分类率。
• 该方法通过网络权重隐式生成变换矩阵，实现对降维空间中新数据的分类。
• CRSOM源自监督学习目标，确保在2D空间中保持拓扑结构和类结构。

实验结果

研究问题

• RQ1 降维能否在2D可视化中保持对分类至关重要的类邻域结构？
• RQ2 rRBF的CRSOM表示是否保持了与原始高维空间相当的泛化性能？
• RQ3 在分类准确率方面，rRBF在2D可视化中的表现与PCA、LDA、NCA和t-SNE相比如何？
• RQ4 与无监督或基于度量学习的方法相比，rRBF中的监督学习在多大程度上提升了可视化保真度？
• RQ5 rRBF内部的CRSOM表示在数学上是否是最优的，以保持低维空间中与分类相关的数据结构？

主要发现

• rRBF在2D CRSOM空间中实现的泛化性能与原始高维空间几乎完全一致，表明性能退化极小。
• 相比之下，PCA和LDA在2D中未能有效分离类别，尤其在降维空间中类别重叠时，导致分类误差率较高。
• t-SNE和NCA生成的可视化未能保持类结构，导致降维后泛化性能较差。
• CRSOM表示在可视化中清晰地将类别分离为独立聚类，MNIST和音乐数据集的可视化结果均显示如此，支持高精度的最近邻分类。
• 10次运行的学习曲线显示稳定收敛，证实rRBF训练过程具有鲁棒性。
• k=3最近邻分类器在所有数据集上均取得最佳平均分类率，支持其经验选择。