[论文解读] Defects of Convolutional Decoder Networks in Frequency Representation

Lin Tang, Wen Shen+3 more|arXiv (Cornell University)|Oct 17, 2022

Neural Networks and Applications被引用 8

一句话总结

本文在频域分析特征图时，识别出卷积解码器网络中的三种基本表示缺陷。通过将二维循环卷积定理扩展至频域中的前向与反向传播建模，作者证明了卷积和零填充会削弱高频分量，上采样会导致重复的频率伪影，且输入与目标输出之间微小的谱偏移会严重阻碍训练。这些发现揭示了标准自编码器架构在频带敏感任务中的固有局限性。

ABSTRACT

In this paper, we prove the representation defects of a cascaded convolutional decoder network, considering the capacity of representing different frequency components of an input sample. We conduct the discrete Fourier transform on each channel of the feature map in an intermediate layer of the decoder network. Then, we extend the 2D circular convolution theorem to represent the forward and backward propagations through convolutional layers in the frequency domain. Based on this, we prove three defects in representing feature spectrums. First, we prove that the convolution operation, the zero-padding operation, and a set of other settings all make a convolutional decoder network more likely to weaken high-frequency components. Second, we prove that the upsampling operation generates a feature spectrum, in which strong signals repetitively appear at certain frequencies. Third, we prove that if the frequency components in the input sample and frequency components in the target output for regression have a small shift, then the decoder usually cannot be effectively learned.

研究动机与目标

• 研究卷积解码器网络为何在特征图中难以表示高频分量。
• 分析上采样操作如何扭曲特征表示的频谱。
• 解释当输入与目标输出之间存在微小谱偏移时，为何训练自编码器尤为困难。
• 利用二维循环卷积定理形式化卷积层的频域行为。
• 通过在真实解码器架构（包括ReLU激活网络）上的实验，验证理论发现。

提出的方法

• 对中间层特征图的每个通道应用离散傅里叶变换（DFT），以分析其频域分量。
• 将二维循环卷积定理扩展至在频域中表示前向与反向传播为谱图上的矩阵乘法。
• 建模卷积、零填充与上采样操作在层间频谱演化中的影响。
• 推导出高频分量被削弱的理论条件，包括深层网络、小卷积核尺寸以及大权重均值幅值。
• 通过改变权重初始化（如大绝对均值）进行消融研究，以验证高频削弱效应。
• 通过拟合误差（RMSE）、参数更新范数（∥ΔW∥）以及不同谱偏移幅度下的误差直方图，衡量训练难度。

实验结果

研究问题

• RQ1 为何卷积解码器网络在特征图中无法有效表示高频分量？
• RQ2 解码器中的上采样操作如何扭曲学习到的特征的频谱？
• RQ3 为何当目标输出的显著频带分量仅相对于输入发生微小谱偏移时，训练自编码器尤为困难？
• RQ4 架构选择（如网络深度、卷积核尺寸与权重初始化）在多大程度上加剧了频域表示缺陷？
• RQ5 理论频域分析能否解释在微小谱偏移下自编码器所表现出的训练不稳定性与泛化能力差？

主要发现

• 卷积与零填充操作会系统性地削弱特征图中的高频分量，尤其在深层网络、小卷积核或大权重均值幅值时更为显著。
• 上采样操作会在特定频率产生强烈且重复的信号，导致解码器输出中出现频谱伪影。
• 当目标输出的显著频带分量仅与输入存在微小偏移时，自编码器难以学习，且随着偏移减小，训练难度显著上升。
• 频域理论分析表明，前向与反向传播均可表示为谱图上的矩阵乘法，从而实现对频率响应的精确刻画。
• 实证验证表明，即使在ReLU激活的网络中，高频削弱现象依然存在，支持了理论框架的稳健性。
• 实验表明，卷积核权重的绝对均值较大时，会一致地削弱高频编码，无论网络深度如何，均表现出一致的偏差。