[论文解读] LiftPool: Bidirectional ConvNet Pooling

Jiaojiao Zhao, Cees G. M. Snoek|arXiv (Cornell University)|Apr 2, 2021

Advanced Data Compression Techniques参考文献 38被引用 9

一句话总结

本文提出LiftPool，一种受信号处理提升方案启发的双向卷积神经网络池化方法。它引入了LiftDownPool实现可逆、细节保留的下采样，以及LiftUpPool实现精细化的上采样，在图像分类和语义分割任务中实现了最先进性能，并提升了对噪声和扰动的鲁棒性。

ABSTRACT

Pooling is a critical operation in convolutional neural networks for increasing receptive fields and improving robustness to input variations. Most existing pooling operations downsample the feature maps, which is a lossy process. Moreover, they are not invertible: upsampling a downscaled feature map can not recover the lost information in the downsampling. By adopting the philosophy of the classical Lifting Scheme from signal processing, we propose LiftPool for bidirectional pooling layers, including LiftDownPool and LiftUpPool. LiftDownPool decomposes a feature map into various downsized sub-bands, each of which contains information with different frequencies. As the pooling function in LiftDownPool is perfectly invertible, by performing LiftDownPool backward, a corresponding up-pooling layer LiftUpPool is able to generate a refined upsampled feature map using the detail sub-bands, which is useful for image-to-image translation challenges. Experiments show the proposed methods achieve better results on image classification and semantic segmentation, using various backbones. Moreover, LiftDownPool offers better robustness to input corruptions and perturbations.

研究动机与目标

• 解决标准池化操作在CNN中导致的信息损失与不可逆性问题。
• 提升深度网络对输入噪声和空间扰动（如平移与形变）的鲁棒性。
• 通过利用可逆下采样，在图像到图像翻译任务中实现高质量的上采样。
• 将信号处理中可逆子带分解的优势迁移至现代卷积神经网络。

提出的方法

• LiftDownPool使用提升方案中的分拆、预测与更新操作，将特征图分解为四个子带——LL（近似）、LH、HL 和 HH（细节）。
• 该方法使用预测器基于偶数索引特征估计奇数索引特征，计算差值信号以保留高频内容。
• 更新步骤将偶数索引特征与差值信号结合，形成下采样后的近似表示，确保完美可逆性。
• LiftUpPool通过反向执行LiftDownPool过程，并利用记录的细节子带重建出精细化的高分辨率特征图。
• 该方法被应用于编码器-解码器架构中的下采样与上采样层，替代标准的MaxPool与MaxUpPool。
• 该方法与多种主干网络兼容，可无缝集成至ResNet、SegNet和DeepLabV3+等模型中，无需对网络结构进行大规模修改。

实验结果

研究问题

• RQ1 可逆池化机制是否能在保留空间细节的同时提升CNN中的特征表示能力？
• RQ2 LiftDownPool是否能增强模型对输入噪声和空间扰动（如平移与形变）的鲁棒性？
• RQ3 在语义分割任务中，LiftUpPool是否能生成优于MaxUpPool的上采样质量？
• RQ4 LiftPool在不同主干网络和下游任务（如图像分类与语义分割）中的性能提升程度如何？

主要发现

• LiftDownPool在图像分类任务中达到最先进性能，在ImageNet上对多个主干网络（如ResNet、EfficientNet等）的表现优于MaxPool、AveragePool和Skip池化。
• 在PASCAL-VOC12数据集上，LiftDownPool在DeepLabV3Plus-ResNet50上达到78.7的mIoU，显著优于次优基线（Gaussian池化为77.4）。
• 在SegNet上，LiftUpPool达到68.9的mIoU，显著优于MaxUpPool（62.7）和MaxUpPool + BlurPool（64.0）。
• 在对抗性扰动下，LiftDownPool将帧间分类变化率（FR）降低高达50%，表明其具有更优的稳定性。
• 在平移不变性方面，LiftDownPool使ResNet18的分类一致性提升超过10%，证明其对空间平移具有强鲁棒性。
• 该方法在不同网络深度下均保持高性能，更深网络（如ResNet50）本身具有更强的平移不变性，而LiftDownPool对轻量化模型的性能提升尤为显著。