[论文解读] An Analysis of the Connections Between Layers of Deep Neural Networks

Eugenio Culurciello, Jonghoon Jin+2 more|arXiv (Cornell University)|Jun 1, 2013

Advanced Neural Network Applications参考文献 32被引用 9

一句话总结

本文研究了小型无监督深度神经网络中层间连接拓扑结构，比较了特征图按一对一、随机和基于相似性的分组方式在感受野中的连接模式。研究发现，随机前馈连接（尤其是K=2）优于学习得到的或全连接的连接方式，在CIFAR-10和SVHN数据集上准确率最高提升3%，且在小型网络中通过特征共现学习感受野并无益处。

ABSTRACT

We present an analysis of different techniques for selecting the connection be- tween layers of deep neural networks. Traditional deep neural networks use ran- dom connection tables between layers to keep the number of connections small and tune to different image features. This kind of connection performs adequately in supervised deep networks because their values are refined during the training. On the other hand, in unsupervised learning, one cannot rely on back-propagation techniques to learn the connections between layers. In this work, we tested four different techniques for connecting the first layer of the network to the second layer on the CIFAR and SVHN datasets and showed that the accuracy can be im- proved up to 3% depending on the technique used. We also showed that learning the connections based on the co-occurrences of the features does not confer an advantage over a random connection table in small networks. This work is helpful to improve the efficiency of connections between the layers of unsupervised deep neural networks.

研究动机与目标

• 通过分析层间不同连接拓扑结构，提升无监督深度神经网络的效率与性能。
• 评估基于特征共现学习感受野是否优于随机或固定连接模式。
• 确定在滤波器数量有限（32个）的小型网络中，连接表的最佳前馈数（K）值。
• 评估池化和数据预处理对小型实时可运行网络分类准确率的影响。

提出的方法

• 使用聚类学习（CL）将一层的特征图分组为下一层的感受野（RF），不使用反向传播。
• 探索四种连接技术：一对一（K=1）、随机前馈（K=2,4,8,16）、基于相似性的分组（学习到的RF）以及全连接（K=32）。
• 应用空间和通道维度的池化，以及颜色旁路，以增强特征表示和分类器输入。
• 在CIFAR-10和SVHN上使用无监督聚类学习训练网络，由于缺乏标签而避免使用反向传播。
• 采用两层架构，每层32个滤波器，以确保在标准硬件上实现实时性能。
• 通过视觉和定量方式评估滤波器与特征图，以评估其选择性与性能。

实验结果

研究问题

• RQ1 在小型无监督深度神经网络中，基于特征共现学习感受野是否能提升性能？
• RQ2 前馈数（K）如何影响小型深度网络在无监督学习下的分类准确率？
• RQ3 在小型网络中，随机连接模式是否能优于学习或全连接的连接表？
• RQ4 池化和数据预处理对小型实时深度网络性能有何影响？

主要发现

• 在CIFAR-10上，随机前馈（K=2）达到最高准确率73.2%，优于一对一（72.8%）和更高前馈配置。
• 全连接感受野表现较差，主要受维度灾难影响，且缺乏选择性滤波器学习，尤其在输入32个特征图时更为明显。
• 在小型网络中，基于特征相似性的感受野学习并未带来性能优势，相比随机分组无提升。
• 前馈数超过K=2后，准确率下降，K=16在CIFAR-10上仅达到70.0%。
• 图像下采样和颜色旁路使准确率提升约4%，表明架构改进可有效提升性能。
• 通过随机连接学习到的滤波器表现出更强的特异性，而全连接表学习到的滤波器则显得均匀且无选择性。