[论文解读] A Novel Convolutional Neural Network for Image Steganalysis with Shared Normalization

Songtao Wu, Sheng-hua Zhong+1 more|arXiv (Cornell University)|Nov 20, 2017

Advanced Steganography and Watermarking Techniques参考文献 36被引用 14

一句话总结

本文提出了一种用于卷积神经网络图像隐写分析的新型批量归一化变体——共享归一化（SN），解决了标准批量归一化在测试未配对的载体-隐写图像批次时的不稳定性问题。SN在所有训练和测试批次中使用固定且共享的统计量，从而实现稳定的特征学习并提升泛化能力，在0.4 bpp的S-UNIWARD隐写术上实现了最先进的检测准确率，错误率为14.07%，采用集成学习与数据增强方法。

ABSTRACT

Deep learning based image steganalysis has attracted increasing attentions in recent years. Several Convolutional Neural Network (CNN) models have been proposed and achieved state-of-the-art performances on detecting steganography. In this paper, we explore an important technique in deep learning, the batch normalization, for the task of image steganalysis. Different from natural image classification, steganalysis is to discriminate cover images and stego images which are the result of adding weak stego signals into covers. This characteristic makes a cover image is more statistically similar to its stego than other cover images, requiring steganalytic methods to use paired learning to extract effective features for image steganalysis. Our theoretical analysis shows that a CNN model with multiple normalization layers is hard to be generalized to new data in the test set when it is well trained with paired learning. To hand this difficulty, we propose a novel normalization technique called Shared Normalization (SN) in this paper. Unlike the batch normalization layer utilizing the mini-batch mean and standard deviation to normalize each input batch, SN shares same statistics for all training and test batches. Based on the proposed SN layer, we further propose a novel neural network model for image steganalysis. Extensive experiments demonstrate that the proposed network with SN layers is stable and can detect the state of the art steganography with better performances than previous methods.

研究动机与目标

• 解决在测试数据缺乏配对载体-隐写图像时，图像隐写分析中批量归一化的不稳定性问题。
• 通过用共享的固定统计量替代批量统计量，提升使用配对学习训练的CNN模型的泛化能力。
• 构建一个鲁棒的深度学习框架用于隐写分析，确保在真实世界测试条件下（配对数据稀少）仍能保持高检测准确率。
• 证明共享归一化相较于标准批量归一化，能更有效地实现载体与隐写图像之间的特征区分。

提出的方法

• 提出共享归一化（SN），用所有训练和测试批次中固定的共享统计量替代特定于批次的均值和方差。
• 设计一种新型CNN架构，集成SN层，以在隐写分析任务中稳定训练并提升泛化能力。
• 采用配对训练，即每张载体图像与其对应的隐写图像一同训练，以增强对细微隐写信号的特征学习。
• 应用数据增强与集成学习，进一步提升检测性能与鲁棒性。
• 通过理论分析表明，由于统计分布偏移，批量归一化在未配对测试下会失效，而SN能保持一致的特征区分能力。
• 推导出数学条件，表明不准确的批量统计量可能掩盖载体与隐写特征之间的微小差异，导致检测失败。

实验结果

研究问题

• RQ1 为何标准批量归一化在测试数据缺乏配对载体-隐写图像时会失效？
• RQ2 是否一种使用固定统计量的归一化技术能提升基于CNN的隐写分析模型的泛化能力？
• RQ3 在未配对测试条件下，共享归一化与批量归一化在检测准确率与稳定性方面有何差异？
• RQ4 数据增强与集成学习在提升SN-based隐写分析模型性能方面起到何种作用？
• RQ5 带有SN层的CNN模型能否在配对数据不可用的真实世界隐写检测中有效泛化？

主要发现

• 当同时使用数据增强与集成学习时，所提出的基于SN的CNN模型在0.4 bpp的S-UNIWARD隐写术上实现了14.07%的检测错误率。
• 仅使用数据增强可将错误率从基线的16.53%降低至14.86%，证明其在提升鲁棒性方面的有效性。
• 仅使用集成学习可将错误率降低至16.79%，表明模型平均能有效稳定预测结果。
• 数据增强与集成学习的结合实现了最佳性能，优于单一技术及基线模型。
• 理论分析证实，由于统计分布偏移，批量归一化在未配对测试下会失效，而SN能保持一致的特征区分能力。
• 在配对测试数据不可用的真实世界场景中，采用SN层的模型相比标准批量归一化具有显著更好的泛化能力。