[论文解读] CALPA-NET: Channel-pruning-assisted Deep Residual Network for Steganalysis of Digital Images

Shunquan Tan, Weilong Wu+4 more|arXiv (Cornell University)|Nov 12, 2019

Advanced Steganography and Watermarking Techniques参考文献 46被引用 5

一句话总结

CALPA-NET 提出了一种通道剪枝辅助的神经架构搜索方法，通过摒弃传统的训练-剪枝-微调流程，将过参数化的深度残差隐写分析模型转化为紧凑高效的模型。该方法在参数量不足原始模型2%、浮点运算量约减少至1/3的情况下，实现了与原始模型相当的隐写分析性能，展现出在多种数据集上的优越适应性与可扩展性。

ABSTRACT

Over the past few years, detection performance improvements of deep-learning based steganalyzers have been usually achieved through structure expansion. However, excessive expanded structure results in huge computational cost, storage overheads, and consequently difficulty in training and deployment. In this paper we propose CALPA-NET, a ChAnneL-Pruning-Assisted deep residual network architecture search approach to shrink the network structure of existing vast, over-parameterized deep-learning based steganalyzers. We observe that the broad inverted-pyramid structure of existing deep-learning based steganalyzers might contradict the well-established model diversity oriented philosophy, and therefore is not suitable for steganalysis. Then a hybrid criterion combined with two network pruning schemes is introduced to adaptively shrink every involved convolutional layer in a data-driven manner. The resulting network architecture presents a slender bottleneck-like structure. We have conducted extensive experiments on BOSSBase+BOWS2 dataset, more diverse ALASKA dataset and even a large-scale subset extracted from ImageNet CLS-LOC dataset. The experimental results show that the model structure generated by our proposed CALPA-NET can achieve comparative performance with less than two percent of parameters and about one third FLOPs compared to the original steganalytic model. The new model possesses even better adaptivity, transferability, and scalability.

研究动机与目标

• 解决过参数化深度学习隐写分析模型带来的高计算与存储成本问题。
• 克服传统训练-剪枝-微调流程在模型压缩中的局限性。
• 开发一种成本效益高、自适应的神经架构搜索方法，提升模型效率而不损失检测性能。
• 提升模型在多种隐写源与数据集之间的适应性、可迁移性与可扩展性。

提出的方法

• 提出一种混合剪枝准则，结合ThiNet的基于激活的通道剪枝与L1范数滤波器剪枝，以指导神经架构搜索。
• 摒弃传统的三阶段训练-剪枝-微调流程，直接从零开始训练剪枝后的网络架构。
• 应用数据驱动的、逐层的通道剪枝方法，根据结构敏感性与激活敏感性自适应地缩小每个卷积层。
• 提出一种理论性反思，指出宽大的倒置金字塔结构与模型多样性原则相悖，从而为架构简化提供理论依据。
• 采用类似瓶颈结构的纤细架构，通过剪枝过程构建，以降低模型复杂度，同时保持检测能力。
• 引入一种新颖的神经网络架构搜索方法，将剪枝准则直接集成至训练过程中，实现端到端的效率优化。

实验结果

研究问题

• RQ1 通道剪枝辅助的神经架构搜索方法是否能在不降低性能的前提下，有效降低深度隐写分析模型的复杂度？
• RQ2 摒弃训练-剪枝-微调流程是否能带来更好的泛化能力与更高的效率？
• RQ3 现有隐写分析模型中广泛采用的倒置金字塔结构是否真正有益，还是与模型多样性原则相矛盾？
• RQ4 从零开始训练的紧凑剪枝架构是否能泛化至多种不同的隐写源与数据集？
• RQ5 在保持竞争力检测准确率的前提下，模型参数量与浮点运算量最多可压缩至何种程度？

主要发现

• CALPA-NET 在 BOSSBase+BOWS2 与 ALASKA 数据集上实现了与原始模型相当的隐写分析性能，参数量不足原始模型的2%。
• 剪枝后的模型将浮点运算量减少至原始隐写分析模型的约三分之一，同时保持或提升了检测准确率。
• 从零开始训练的 CALPA-SRNet 架构在仅 76.3263×10⁴ 次迭代时即达到峰值验证准确率，显著快于微调基线模型。
• 该模型展现出卓越的适应性与可迁移性，在多种隐写源条件下仍优于微调模型。
• 理论分析证实，深度网络中的大规模特征聚合会抑制稀疏频域分量，从而为架构简化提供理论支持。
• 所提方法使单一通用架构可直接从零开始训练于多种隐写分析场景，无需重新训练或微调。