[论文解读] Learning in the Frequency Domain

Kai Xu, Minghai Qin+4 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Neural Network Applications参考文献 2被引用 14

一句话总结

本文提出通过使用离散余弦变换（DCT）系数作为深度神经网络的输入，在频域中进行学习，从而绕过空间下采样。该方法在保持输入尺寸更小的同时，相比传统的空间下采样，实现了更高的准确率——在ResNet-50上，ImageNet的top-1准确率最高提升1.60%；并通过选择显著的频率分量实现静态通道选择，有效降低了输入尺寸和通信带宽。

ABSTRACT

Deep neural networks have achieved remarkable success in computer vision tasks. Existing neural networks mainly operate in the spatial domain with fixed input sizes. For practical applications, images are usually large and have to be downsampled to the predetermined input size of neural networks. Even though the downsampling operations reduce computation and the required communication bandwidth, it removes both redundant and salient information obliviously, which results in accuracy degradation. Inspired by digital signal processing theories, we analyze the spectral bias from the frequency perspective and propose a learning-based frequency selection method to identify the trivial frequency components which can be removed without accuracy loss. The proposed method of learning in the frequency domain leverages identical structures of the well-known neural networks, such as ResNet-50, MobileNetV2, and Mask R-CNN, while accepting the frequency-domain information as the input. Experiment results show that learning in the frequency domain with static channel selection can achieve higher accuracy than the conventional spatial downsampling approach and meanwhile further reduce the input data size. Specifically for ImageNet classification with the same input size, the proposed method achieves 1.41% and 0.66% top-1 accuracy improvements on ResNet-50 and MobileNetV2, respectively. Even with half input size, the proposed method still improves the top-1 accuracy on ResNet-50 by 1%. In addition, we observe a 0.8% average precision improvement on Mask R-CNN for instance segmentation on the COCO dataset.

研究动机与目标

• 解决高分辨率图像在深度学习中因空间下采样导致的准确率下降问题。
• 克服AI推理系统中高芯片间通信带宽的瓶颈。
• 利用CNN中的谱偏差以及人类视觉系统的特性，识别并去除非关键的频率分量。
• 开发一种通用且改动极小的方法，以替代现有CNN模型中的空间预处理。
• 通过频域学习和静态通道剪枝，实现更小的输入尺寸和更高的准确率。

提出的方法

• 使用离散余弦变换（DCT）将高分辨率RGB图像转换为DCT系数，以实现频域表示。
• 将DCT系数直接输入标准CNN架构（如ResNet-50、MobileNetV2、Mask R-CNN），仅做最小的架构修改。
• 通过每个频率通道的“开关”机制，实现基于学习的动态通道选择，以识别并移除冗余分量。
• 基于谱偏差分析，应用静态通道选择方法，实现高达87.5%的频率通道剪枝，且准确率无损失。
• 使用高保真度的解码图像进行训练和推理，以在减小输入尺寸的同时保持模型性能。
• 通过减少输入数据大小和CPU与加速器之间的通信带宽，优化推理效率。

实验结果

研究问题

• RQ1 与空间下采样相比，图像的频域表示能否提升深度学习的准确率？
• RQ2 在不降低模型性能的前提下，非关键频率分量最多可去除多少？
• RQ3 CNN中的谱偏差与人类视觉系统在各频率带上的敏感度相比如何？
• RQ4 能否开发一种通用且改动极小的方法，以替代现有CNN流水线中的空间预处理？
• RQ5 通过频域剪枝，最大可实现多大程度的输入尺寸缩减，同时保持准确率？

主要发现

• 在相同输入尺寸下，与传统空间下采样相比，该方法在ResNet-50上实现了+1.60%的ImageNet top-1准确率提升。
• 在MobileNetV2上，该方法在相同输入条件下实现了+0.63%的top-1准确率提升。
• 即使输入尺寸减半，该方法在ResNet-50上仍实现了+1.42%的ImageNet top-1准确率提升。
• 在COCO数据集上，使用Mask R-CNN进行目标检测和实例分割时，该方法将平均精度提升了+0.8%。
• 静态通道选择方法可在ImageNet上实现高达87.5%的频率通道剪枝，且准确率无损失或损失可忽略。
• 频域方法显著减少了输入数据大小和芯片间通信带宽，有效缓解了AI推理系统中的关键瓶颈。