[论文解读] A guide to convolution arithmetic for deep learning

Vincent Dumoulin, Francesco Visin|arXiv (Cornell University)|Mar 23, 2016

Generative Adversarial Networks and Image Synthesis参考文献 5被引用 1,223

一句话总结

一个详细指南，解释输入大小、内核大小、填充、步幅和输出大小之间的关系，适用于卷积、池化和转置卷积层，包括扩张卷积和它们的算术直观与实际应用。

ABSTRACT

We introduce a guide to help deep learning practitioners understand and manipulate convolutional neural network architectures. The guide clarifies the relationship between various properties (input shape, kernel shape, zero padding, strides and output shape) of convolutional, pooling and transposed convolutional layers, as well as the relationship between convolutional and transposed convolutional layers. Relationships are derived for various cases, and are illustrated in order to make them intuitive.

研究动机与目标

• 解释输入形状、内核形状、填充和步幅如何决定卷积、池化与转置卷积层的输出形状。
• 提供直观且与框架无关的 1-D/2-D/N-D 卷积和池化的关系。
• 阐明卷积与转置卷积运算之间的联系及其实际影响。
• 提供关于膨胀（atrous）卷积及其对感受野和输出大小影响的指导。

提出的方法

• 给出一组将 i、k、s、p 与输出 o 关联的形式化关系（卷积关系 1–6）。
• 解释半（same/相同）填充与全填充及其相应的输出大小公式。
• 用与卷积相同的框架描述池化运算（关系 7）。
• 通过将转置卷积视为前向卷积的梯度/转置来推导转置卷积算术（第 4.1–4.6 节）。
• 引入膨胀卷积并推导其输出大小关系（关系 15）。
• 讨论卷积的矩阵-运算视角，以阐明前向和反向传播（第 4.1 节）。

实验结果

研究问题

• RQ1 决定卷积在各轴输出大小的输入大小、内核大小、填充与步幅之间的精确关系是什么？
• RQ2 填充模式（半/同、全）如何影响卷积和转置卷积中的输出形状？
• RQ3 就输出形状与连通性而言，卷积及其转置变体之间的确切关系是什么？
• RQ4 膨胀卷积如何改变有效内核大小和输出大小？
• RQ5 矩阵解释如何阐明卷积的前向和反向传播？

主要发现

• 卷积在每个轴的输出大小取决于输入大小、内核大小、步幅和填充，这些轴彼此独立。
• 半（same）填充在核大小为奇数且步幅为单位时保持输入大小，而全填充则使输出大小增加为 kernel-1。
• 非单位步幅通过向下取整的关系修改输出大小，填充可以通过在公式中将 i 替换为 i+2p 来整合。
• 转置卷积可被理解为前向卷积的梯度（或转置），两者之间通过特定关系映射填充和步幅。
• 膨胀卷积在不增大内核的情况下增加感受野，等效内核大小 hat{k}=k+(k-1)(d-1)，并相应调整输出大小。
• 卷积可以表示为稀疏矩阵运算，通过卷积矩阵的转置就可以直接推导反向传播。