[论文解读] Deep Learning for steganalysis is better than a Rich Model with an Ensemble Classifier, and is natively robust to the cover source-mismatch.

Lionel Pibre, Jérôme Pasquet+2 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Steganography and Watermarking Techniques参考文献 27被引用 20

一句话总结

该论文表明，深度学习模型——特别是卷积神经网络（CNN）和全连接神经网络（FNN）——在清晰预知场景下，其性能优于结合丰富模型（RM）与集成分类器（EC）的传统隐写分析流水线，分类错误率降低超过16%。这些模型在覆盖源不匹配方面也具有内在鲁棒性，这是在实际部署中的一大优势。

ABSTRACT

Since the BOSS competition, in 2010, most steganalysis approaches use a learning methodology involving two steps: feature extraction, such as the Rich Models (RM), for the image representation, and use of the Ensemble Classifier (EC) for the learning step. In 2015, Qian et al. have shown that the use of a deep learning approach that jointly learns and computes the features, is very promising for the steganalysis. In this paper, we follow-up the study of Qian et al., and show that, due to intrinsic joint minimization, the results obtained from a Convolutional Neural Network (CNN) or a Fully Connected Neural Network (FNN), if well parameterized, surpass the conventional use of a RM with an EC. First, numerous experiments were conducted in order to find the best shape of the CNN. Second, experiments were carried out in the clairvoyant scenario in order to compare the CNN and FNN to an RM with an EC. The results show more than 16% reduction in the classification error with our CNN or FNN. Third, experiments were also performed in a cover-source mismatch setting. The results show that the CNN and FNN are naturally robust to the mismatch problem. In Addition to the experiments, we provide discussions on the internal mechanisms of a CNN, and weave links with some previously stated ideas, in order to understand the impressive results we obtained.

研究动机与目标

• 评估端到端深度学习模型是否能在隐写分析中超越既有的RM+EC流水线性能。
• 研究深度学习模型在覆盖源不匹配这一常见现实挑战下的鲁棒性。
• 通过系统性实验，识别适用于隐写分析的最优模型架构（CNN与FNN）。
• 理解CNN在隐写分析中的内部工作机制，并将其与先前的理论见解相联系。

提出的方法

• 本研究将卷积神经网络（CNN）和全连接神经网络（FNN）与标准的RM+EC流水线进行对比。
• 通过大量超参数调优，确定了CNN的最佳网络结构形状。
• 在清晰预知场景下进行实验，即已知真实覆盖源，以隔离模型本身性能。
• 采用覆盖源不匹配设置以评估鲁棒性，模拟真实世界部署条件。
• 模型联合学习特征并执行分类，无需手工设计特征提取。
• 本文分析了CNN的内部机制，并将其与先前的隐写分析概念相联系。

实验结果

研究问题

• RQ1 具备联合特征学习与分类能力的深度学习模型，是否能在隐写分析中超越RM+EC流水线？
• RQ2 在清晰预知场景下，CNN与FNN相较于RM+EC的性能表现如何？
• RQ3 与传统方法相比，CNN与FNN在覆盖源不匹配情况下的鲁棒性如何？
• RQ4 CNN中哪些内部机制促使其在隐写分析中表现更优？
• RQ5 深度学习模型的结果如何与或扩展先前在隐写分析中的理论理解？

主要发现

• 在清晰预知场景下，CNN与FNN模型相较于RM+EC基线，分类错误率降低超过16%。
• 深度学习模型在覆盖源不匹配条件下表现出内在鲁棒性，优于传统方法。
• 通过系统性实验确定了最优CNN架构，凸显了模型结构形状对性能的重要性。
• 深度神经网络中特征学习与分类的联合优化，带来了更优的泛化能力与检测准确率。
• 对CNN的内部分析揭示了与先前隐写分析理论见解一致并可扩展的机制。
• 结果证实，端到端深度学习不仅更准确，也更具实际应用价值，适用于真实世界的隐写分析。