[論文レビュー] A Novel Convolutional Neural Network for Image Steganalysis with Shared Normalization

Songtao Wu, Sheng-hua Zhong+1 more|arXiv (Cornell University)|Nov 20, 2017

Advanced Steganography and Watermarking Techniques参考文献 36被引用数 14

ひとこと要約

本論文は、画像ステガノグラフィーにおける畳み込みニューラルネットワーク向けに、標準バッチ正規化がペアでないカバー・ステゴ画像バッチでテストする際の不安定性を解消する、新しいバッチ正規化の変種である共有正規化（SN）を提案する。SNは、すべての訓練およびテストバッチに共通する固定で共有された統計を用いるため、安定した特徴学習と一般化性能の向上が可能となり、アンサンブル学習およびデータ拡張を用いることで、0.4 bppのS-UNIWARDステガノグラフィーにおいて14.07%の誤差率を達成し、最先端の検出精度を実現した。

ABSTRACT

Deep learning based image steganalysis has attracted increasing attentions in recent years. Several Convolutional Neural Network (CNN) models have been proposed and achieved state-of-the-art performances on detecting steganography. In this paper, we explore an important technique in deep learning, the batch normalization, for the task of image steganalysis. Different from natural image classification, steganalysis is to discriminate cover images and stego images which are the result of adding weak stego signals into covers. This characteristic makes a cover image is more statistically similar to its stego than other cover images, requiring steganalytic methods to use paired learning to extract effective features for image steganalysis. Our theoretical analysis shows that a CNN model with multiple normalization layers is hard to be generalized to new data in the test set when it is well trained with paired learning. To hand this difficulty, we propose a novel normalization technique called Shared Normalization (SN) in this paper. Unlike the batch normalization layer utilizing the mini-batch mean and standard deviation to normalize each input batch, SN shares same statistics for all training and test batches. Based on the proposed SN layer, we further propose a novel neural network model for image steganalysis. Extensive experiments demonstrate that the proposed network with SN layers is stable and can detect the state of the art steganography with better performances than previous methods.

研究の動機と目的

• テストデータにペアのカバー・ステゴ画像が存在しない場合に、画像ステガノグラフィーにおけるバッチ正規化の不安定性を解消すること。
• ペア学習で訓練されたCNNモデルの一般化を向上させるために、バッチ統計を固定で共有された統計に置き換えること。
• ペアデータが稀な現実世界のテスト環境でも高い検出精度を維持できる、頑健なディープラーニングフレームワークを構築すること。
• 共有正規化が、標準バッチ正規化よりもカバー画像とステゴ画像の間の特徴の区別能を向上させられることを示すこと。

提案手法

• バッチ固有の平均と分散を、すべての訓練およびテストバッチに共通する固定で共有された統計に置き換える、共有正規化（SN）を提案する。
• ステガノグラフィー分野の訓練安定化と一般化性能向上を目的とした、SNレイヤーを組み込んだ新しいCNNアーキテクチャを設計する。
• 各カバー画像とその対応するステゴ画像を同時に学習するペア学習を採用し、微細なステガノグラフィック信号の特徴学習を強化する。
• さらに検出性能と耐障害性を向上させるために、データ拡張およびアンサンブル学習を適用する。
• 理論的分析により、テスト時に統計的シフトが生じるため、バッチ正規化はペアでないテスト条件下で失敗するが、SNは一貫した特徴の区別を維持できることを示す。
• 不正確なバッチ統計が、カバーとステゴの特徴のわずかな差を上回り、検出失敗を引き起こす数学的条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準バッチ正規化は、テストデータにペアのカバー・ステゴ画像が存在しない画像ステガノグラフィーにおいて失敗するのか？
• RQ2 固定統計を用いる正規化手法が、CNNベースのステガノグラフィー・モデルの一般化性能を向上させられるか？
• RQ3 ペアでないテスト条件下において、共有正規化はバッチ正規化と比べて検出精度と安定性でどのように異なるか？
• RQ4 データ拡張およびアンサンブル学習は、SNベースのステガノグラフィー・モデルの性能向上にどのような役割を果たすか？
• RQ5 ペアデータが利用できない現実世界のステガノグラフィー検出に、SNレイヤーを備えたCNNモデルは効果的に一般化できるか？

主な発見

• データ拡張およびアンサンブル学習を併用したSNベースのCNNモデルは、S-UNIWARDステガノグラフィー（0.4 bpp）で14.07%の検出誤差率を達成した。
• データ拡張のみで誤差率は16.53%（ベースライン）から14.86%に低下し、耐障害性の向上が有効であることが示された。
• アンサンブル学習のみで誤差率は16.79%に低下し、モデルアンサンブルが予測の安定化に寄与することが示された。
• データ拡張とアンサンブル学習の組み合わせが最良の性能を示し、個別の手法やベースラインモデルを上回った。
• 理論的分析により、バッチ正規化はペアでないテスト条件下で統計的シフトのため失敗するが、SNは一貫した特徴の区別を維持することが確認された。
• ペアデータが利用できない現実世界のシナリオにおいて、SNレイヤーを備えたモデルは、標準バッチ正規化よりも顕著に優れた一般化性能を示した。