[论文解读] Deep Neural Maps

Mehran Pesteie, Purang Abolmaesumi+1 more|arXiv (Cornell University)|Feb 12, 2018

Neural Networks and Applications被引用 2

一句话总结

Deep Neural Maps (DNM) 提出了一种无监督表示学习方法，该方法将深度卷积网络与自组织映射相结合，联合学习数据嵌入并将其映射到二维格点。该方法生成了高效且具有类别判别力的表示，通过将映射神经元反投影到输入空间进行验证，在 MNIST 和 COIL-20 数据集上的可视化保真度优于 t-SNE 和 LLE。

ABSTRACT

We introduce a new unsupervised representation learning and visualization using deep convolutional networks and self organizing maps called Deep Neural Maps (DNM). DNM jointly learns an embedding of the input data and a mapping from the embedding space to a two-dimensional lattice. We compare visualizations of DNM with those of t-SNE and LLE on the MNIST and COIL-20 data sets. Our experiments show that the DNM can learn efficient representations of the input data, which reflects characteristics of each class. This is shown via back-projecting the neurons of the map on the data space.

研究动机与目标

• 开发一种新型无监督表示学习框架，将深度卷积网络与自组织映射相结合，以改善数据可视化。
• 学习输入数据与二维拓扑映射的联合嵌入，以保留类别结构。
• 生成更能有效反映数据内在特征与类别可分性的可视化结果，优于 t-SNE 和 LLE。
• 通过将映射神经元反投影到输入数据空间，实现可解释的可视化。

提出的方法

• DNM 使用深度卷积神经网络从输入数据中学习分层特征表示。
• 自组织映射组件将学习到的嵌入映射到二维格点，以保留局部邻域关系。
• 网络通过联合损失函数进行端到端训练，同时优化特征学习与拓扑映射。
• 该方法支持将映射神经元反投影到输入空间，从而实现对学习特征的可视化。
• 该架构支持表示学习与拓扑组织的联合优化，且无需使用标签数据。

实验结果

研究问题

• RQ1 将深度神经网络与自组织映射结合，是否能学习到比现有无监督方法更具意义且更具类别判别力的数据表示？
• RQ2 该二维映射在多大程度上保留了数据的内在结构，特别是类别边界？
• RQ3 映射神经元的反投影在多大程度上能揭示输入空间中可解释的特征？
• RQ4 在 MNIST 和 COIL-20 数据集上，DNM 在可视化复杂数据分布方面与 t-SNE 和 LLE 相比表现如何？

主要发现

• DNM 有效学习到高效且能反映类别的表示，能够捕捉每种类别数据的关键特征。
• 在 MNIST 和 COIL-20 数据集上，DNM 生成的二维映射比 t-SNE 和 LLE 更有效地保留了数据的局部与全局结构。
• 将映射神经元反投影到输入空间后，可揭示出与特定数据模式相对应的有意义且可解释的特征。
• 嵌入与拓扑映射的联合学习带来了更连贯且语义上更合理的可视化结果。