[论文解读] An Equivalence of Fully Connected Layer and Convolutional Layer

Wei Ma, Jun Lu|arXiv (Cornell University)|Dec 4, 2017

Neural Networks and Applications参考文献 1被引用 48

一句话总结

本文证明，当以矩阵乘法形式表达时，全连接（FC）层与卷积（CONV）层在数学上是等价的，从而可将CONV层重新表述为FC层以供分析。关键结果表明，使用FC或CONV层的等价网络在训练和验证损失上几乎完全相同，学习权重之间的Frobenius范数差异为2.12e-7，证实了在特定条件下其功能等价性。

ABSTRACT

This article demonstrates that convolutional operation can be converted to matrix multiplication, which has the same calculation way with fully connected layer. The article is helpful for the beginners of the neural network to understand how fully connected layer and the convolutional layer work in the backend. To be concise and to make the article more readable, we only consider the linear case. It can be extended to the non-linear case easily through plugging in a non-linear encapsulation to the values like this $σ(x)$ denoted as $x^{\prime}$.

研究动机与目标

• 建立深度神经网络中全连接层与卷积层之间的正式等价性。
• 通过全连接网络中已有的方法（如不确定性量化与网络形态学）实现对卷积层的分析。
• 证明卷积操作可被高效地重新表述为矩阵乘法，从而简化理论理解与实现。
• 通过在MNIST数据集上对等价的FC与CONV网络进行训练，验证其等价性，显示相同的优化动态。
• 通过权重等价性，为将全连接网络的技术直接迁移至卷积架构奠定基础。

提出的方法

• 通过将输入特征图和卷积核重塑为矩阵，将二维卷积操作重新表述为矩阵乘法。
• 使用标准矩阵乘法计算卷积层的输出，将每个卷积核的应用视为线性变换。
• 对FC与CONV网络采用相同的权重初始化和优化方法（SGD与Adam），以确保公平比较。
• 将形状为(1000, 28, 28, 1)的输入数据重塑为(1000, 169, 16)，以匹配FC层的输入维度，同时保持等价性。
• 计算等价CONV与FC层之间学习权重的Frobenius范数差异，以量化其相似性。
• 使用1000张图像的测试集比较两种网络第一层的输出，以验证其功能等价性。

实验结果

研究问题

• RQ1 能否通过矩阵乘法将卷积层在数学上重新表述为全连接层？
• RQ2 等价的FC与CONV网络在训练动态和损失曲线方面在多大程度上表现一致？
• RQ3 从Frobenius范数来看，等价FC与CONV层的学习权重有多相似？
• RQ4 该等价性在不同优化算法（如SGD与Adam）下是否依然成立？
• RQ5 能否通过此等价性，将为全连接网络开发的技术直接应用于卷积网络？

主要发现

• 卷积操作可被精确表示为矩阵乘法，证明在特定重塑条件下，FC与CONV层在数学上是等价的。
• 在SGD优化下，对具有等价架构与初始化的全连接网络与卷积网络进行训练，其训练与验证损失曲线几乎完全相同。
• 等价CONV与FC层之间学习权重的Frobenius范数差异为2.12e-7，表明权重对应近乎完美。
• 两种网络第一层的输出特征图在Frobenius范数上的差异仅为1.85e-6，证实了其功能等价性。
• 在Adam优化下，损失曲线出现轻微发散，权重差异的Frobenius范数增加至0.0742，表明自适应学习率会影响收敛对称性。
• 即使输入数据被重塑为3D张量(1000, 169, 16)，该等价性依然成立，证实该变换保持了计算等价性。