[论文解读] Enhancing sensor resolution improves CNN accuracy given the same number of parameters or FLOPS

Ali Borji|arXiv (Cornell University)|Mar 9, 2021

Advanced Neural Network Applications参考文献 2被引用 4

一句话总结

本文通过系统性地修改网络层以维持计算预算，证明了仅提高输入图像分辨率即可在不增加模型参数或FLOPS的情况下提升CNN的准确率。其主要贡献在于通过四种分辨率感知的架构适配方法，证明了仅提高分辨率本身即可增强性能，且与模型容量无关。

ABSTRACT

High image resolution is critical to obtain a good performance in many computer vision applications. Computational complexity of CNNs, however, grows significantly with the increase in input image size. Here, we show that it is almost always possible to modify a network such that it achieves higher accuracy at a higher input resolution while having the same number of parameters or/and FLOPS. The idea is similar to the EfficientNet paper but instead of optimizing network width, depth and resolution simultaneously, here we focus only on input resolution. This makes the search space much smaller which is more suitable for low computational budget regimes. More importantly, by controlling for the number of model parameters (and hence model capacity), we show that the additional benefit in accuracy is indeed due to the higher input resolution. Preliminary empirical investigation over MNIST, Fashion MNIST, and CIFAR10 datasets demonstrates the efficiency of the proposed approach.

研究动机与目标

• 探究在参数和FLOPS保持不变的情况下，更高分辨率是否能提升CNN准确率，其原因是否源于分辨率本身而非模型容量。
• 开发在不增加参数或FLOPS的前提下支持更高输入分辨率的方法。
• 通过仅优化分辨率，实现在固定计算预算下的实际准确率提升。
• 提供一种可扩展、低预算的替代方案，以替代完整的NAS或EfficientNet风格的多维搜索。

提出的方法

• 提出四种方法（I–IV），重新配置现有CNN层，使其在保持参数数量或FLOPS不变的前提下接受更高分辨率的输入。
• 方法I使用步幅卷积和自适应平均池化，以维持分辨率和FLOPS。
• 方法II调整卷积核大小和步幅，以在卷积层后保持特征图大小和FLOPS不变。
• 方法III修改池化层和卷积层，以在多层之间维持分辨率和FLOPS。
• 方法IV使用空洞卷积和核大小调整，在不增加FLOPS的前提下扩大感受野和分辨率。
• 通过在分辨率、卷积核大小、步幅和填充等超参数上进行网格搜索，对MNIST、Fashion-MNIST和CIFAR-10数据集进行实验评估。

实验结果

研究问题

• RQ1 当参数和FLOPS保持不变时，更高的输入分辨率是否能独立于模型容量提升CNN准确率？
• RQ2 我们能否系统性地修改CNN，使其在保持相同参数数量或FLOPS的前提下接受更高分辨率的输入？
• RQ3 在固定计算预算下，哪些架构适配技术对分辨率增强最为有效？
• RQ4 更高分辨率带来的性能增益是否源于更精细的特征表示，而非模型容量的提升？

主要发现

• 即使在参数数量和FLOPS保持不变的情况下，更高的输入分辨率仍能持续提升CNN准确率，证明分辨率本身可增强性能。
• 方法IV（使用空洞卷积和核大小调整）在准确率提升方面表现最佳，尤其在低分辨率下，因有更大的分辨率提升空间。
• 方法I（依赖平均池化）在分辨率提高时表现更差，因特征图压缩导致信息损失。
• 方法II和III仅带来微小改进，表明精细的层重配置对有效提升分辨率至关重要。
• 结果证实，即使模型容量相同，CNN也能有效利用更高分辨率带来的更精细空间信息。
• 在所有数据集中，通常可以找到在相同FLOPS或参数数量下性能优于原始模型的更高分辨率模型。