[论文解读] Multiscale Hierarchical Convolutional Networks
本文提出多尺度分层卷积网络（MHCNs），一种结构化深度学习架构，其中各层通过从数据中学习到的逐级高维属性进行索引。通过多维卷积以及沿属性索引的平均操作来计算不变性，MHCNs 在 CIFAR-10 上实现了显著更少参数量的最先进分类准确率，为理解卷积神经网络的不变性与对称群提供了一个数学上可解释的框架。
Deep neural network algorithms are difficult to analyze because they lack structure allowing to understand the properties of underlying transforms and invariants. Multiscale hierarchical convolutional networks are structured deep convolutional networks where layers are indexed by progressively higher dimensional attributes, which are learned from training data. Each new layer is computed with multidimensional convolutions along spatial and attribute variables. We introduce an efficient implementation of such networks where the dimensionality is progressively reduced by averaging intermediate layers along attribute indices. Hierarchical networks are tested on CIFAR image data bases where they obtain comparable precisions to state of the art networks, with much fewer parameters. We study some properties of the attributes learned from these databases.
研究动机与目标
- 开发一种结构化深度学习架构，使卷积神经网络的不变性与对称群具有数学可解释性。
- 通过沿学习到的属性索引进行平均，逐步降低维度，从而减少网络复杂度。
- 理解深层特征如何从低级到高级表示在分层特征空间中演化。
- 提供一种利用多维卷积与群论原理分析深度网络中不变性的框架。
- 证明分层属性学习可在参数更少的情况下实现与标准卷积神经网络相当的性能。
提出的方法
- 网络采用分层堆叠的结构，各层通过从训练数据中学习到的逐级高维属性进行索引。
- 每一层通过沿空间变量与属性变量的多维卷积进行计算，滤波器支持区域较小。
- 通过沿属性索引对中间层进行平均，降低维度，以计算不变性。
- 架构采用指数线性单元（ELUs）作为非线性激活函数，并使用循环卷积以最小化边界效应。
- 不变性通过属性索引上的求和显式计算，使学习到的特征可被解释为保持对称性的变换。
- 实现采用 5D 卷积与批量归一化，代码通过 TensorFlow 和 Keras 提供。
实验结果
研究问题
- RQ1如何构建深度卷积网络，使其学习到的不变性与对称群在数学上清晰透明？
- RQ2分层属性索引在减少网络参数量的同时保持分类准确率方面起到何种作用？
- RQ3不同深度的属性变换如何对应于图像的低级与高级属性？
- RQ4沿属性索引的平移在多大程度上反映了训练数据中图像的有意义变化？
- RQ5是否能通过在深层网络中对学习到的属性维度进行求和，系统性地计算不变表示？
主要发现
- 尽管参数量显著更少，MHCN 在 CIFAR-10 上的分类准确率与最先进卷积神经网络相当。
- 在浅层，属性平移对应于细粒度的低级图像属性，如纹理或边缘模式。
- 在深层，属性平移越来越多地映射到图像中的大尺度结构变化，如物体姿态或形状变化。
- 网络的不变性通过属性索引上的求和计算，使学习到的特征与分类函数的对称群之间建立了直接联系。
- 通过属性偏移识别为某特征图平移的图像，通常属于同一类别，尤其在深层中表现明显，表明存在有意义的结构不变性。
- 当使用循环卷积时，该方法对边界效应具有鲁棒性，性能几乎与标准卷积完全相同。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。