[论文解读] Checkerboard artifact free sub-pixel convolution: A note on sub-pixel convolution, resize convolution and convolution resize

Andrew P. Aitken, Christian Ledig+4 more|arXiv (Cornell University)|Jul 10, 2017

Image Processing Techniques and Applications参考文献 16被引用 141

一句话总结

该笔记提出一种用于子像素卷积的卷积神经网络尺寸初始化方法，在初始化后即能消除棋盘伪影，且在相同计算成本下比尺寸卷积具有更强的建模能力。

ABSTRACT

The most prominent problem associated with the deconvolution layer is the presence of checkerboard artifacts in output images and dense labels. To combat this problem, smoothness constraints, post processing and different architecture designs have been proposed. Odena et al. highlight three sources of checkerboard artifacts: deconvolution overlap, random initialization and loss functions. In this note, we proposed an initialization method for sub-pixel convolution known as convolution NN resize. Compared to sub-pixel convolution initialized with schemes designed for standard convolution kernels, it is free from checkerboard artifacts immediately after initialization. Compared to resize convolution, at the same computational complexity, it has more modelling power and converges to solutions with smaller test errors.

研究动机与目标

• 激励基于反卷积的上采样中的棋盘伪影问题。
• 引入一种名为卷积神经网络尺寸初始化（convolution NN resize）的子像素卷积初始化方法。
• 在伪影和建模能力方面，将所提方法与标准的子像素卷列初始化以及尺寸卷积进行比较。

提出的方法

• 将卷积神经网络尺寸初始化定义为子像素卷积的初始化方法。
• 论证该初始化在初始化之后即能消除棋盘伪影。
• 将计算复杂度和建模能力与尺寸卷积进行比较。
• 相对于替代方案，评估收敛行为和测试误差。

实验结果

研究问题

• RQ1 卷积神经网络尺寸初始化在无需额外后处理的情况下能否消除棋盘伪影？
• RQ2 在相同计算成本下，卷积神经网络尺寸初始化与标准子像素卷积初始化在测试误差方面的比较？
• RQ3 所提方法相对于尺寸卷积在建模能力与伪影之间的权衡是什么？

主要发现

• 卷积神经网络尺寸初始化在初始化后即产生无伪影的输出。
• 在相同计算复杂度下，卷积神经网络尺寸初始化比尺寸卷积具有更强的建模能力。
• 在相似成本下，所提方法收敛到具有更小测试误差的解，相对于尺寸卷积。