[論文レビュー] Yedrouj-Net: An efficient CNN for spatial steganalysis

Mehdi Yedroudj, Frédéric Comby+1 more|arXiv (Cornell University)|Feb 26, 2018

Advanced Steganography and Watermarking Techniques参考文献 19被引用数 25

ひとこと要約

Yedroudj-Net は、空間的ステガノグラフィー解析のための軽量で効率的な CNN であり、SRM カーネルを用いた事前処理フィルターバンク、切り捨て活性化関数、バッチ正規化とスケーリング層、および5つの畳み込みブロックを備えた深層アーキテクチャを組み合わせることで、アンサンブルやデータオーグメンテーションのテクニックを用いずに、最先端の手法を上回る性能を達成している。BOSSBase データセットにおいて 0.2 bpp の条件下で、RM+EC ベースライン（検出誤差確率 36.5%）に対して 16% の改善を達成し、検出誤差確率を 20.8% に低減している。

ABSTRACT

For about 10 years, detecting the presence of a secret message hidden in an image was performed with an Ensemble Classifier trained with Rich features. In recent years, studies such as Xu et al. have indicated that well-designed convolutional Neural Networks (CNN) can achieve comparable performance to the two-step machine learning approaches. In this paper, we propose a CNN that outperforms the state-ofthe-art in terms of error probability. The proposition is in the continuity of what has been recently proposed and it is a clever fusion of important bricks used in various papers. Among the essential parts of the CNN, one can cite the use of a pre-processing filterbank and a Truncation activation function, five convolutional layers with a Batch Normalization associated with a Scale Layer, as well as the use of a sufficiently sized fully connected section. An augmented database has also been used to improve the training of the CNN. Our CNN was experimentally evaluated against S-UNIWARD and WOW embedding algorithms and its performances were compared with those of three other methods: an Ensemble Classifier plus a Rich Model, and two other CNN steganalyzers.

研究の動機と目的

• アンサンブル手法や複雑なデータオーグメンテーションに依存せずに、最先端のステガノグラフィー解析性能を上回る単一の効率的な CNN アーキテクチャを設計すること。
• 事前処理フィルターや活性化関数、正規化手法といったアーキテクチャ的選択が、空間ドメイン画像におけるステガノグラフィー解析精度に与える影響を調査すること。
• トレーニングデータベースのサイズを拡大し、仮想的データオーグメンテーションを適用した場合の、CNN の収束性と検出性能への影響を評価すること。
• 豊富なモデルを用いた伝統的なアンサンブル分類器と比較して、非アンサンブルの良好に設計された CNN が優れた結果を達成できることを示すこと。
• ハイパーパramータの初期化に頑健で、トランスファー学習や仮想オーグメンテーションを用いずに、信頼性高く収束するネットワークであることを示すこと。

提案手法

• ネットワークは、固定された30個の高域通過フィルタ（SRM（空間的リッチモデル）カーネルセットから抽出）を用いた事前処理ブロックを備え、重みが固定された5×5畳み込み層として実装され、ノイズ残留成分を抽出し、信号対雑音比を向上させる。
• 5つの連続する畳み込みブロックを採用し、それぞれが3×3または5×5のカーネル（深さの増すに従いより小さいもの）、バッチ正規化、スケーリング層を組み合わせており、畳み込み層にはバイアスを設定しない。
• ノイズ残留成分の符号対称性を保持するため、Block 1でのみ絶対値活性化関数が使用され、ステガノアーティファクトの統計的モデリングを向上させる。
• 最終的な畳み込みブロックの後に切り捨て活性化関数が適用され、極端な値を抑制し、特徴のロバスト性を向上させる。
• 特徴マップはフラット化され、ReLU とドロップアウトを含む3つの全結合層を経て、二値分類（カバー対ステガノ）を実行するためのソフトマックス層に接続される。
• モデルは BOSSBase と BOWS2 を組み合わせた大規模な拡張済みデータセット上でトレーニングされ、ラベルを保持する回転と反転を用いた仮想的データオーグメンテーションにより、トレーニングの多様性が向上している。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル手法やデータオーグメンテーション、トランスファー学習に依存しない単一の非アンサンブル CNN アーキテクチャが、空間的ステガノグラフィー解析で最先端の性能を上回ることは可能か？
• RQ2 固定された SRM フィルターバンクを用いた事前処理ステップの統合が、CNN の収束性と検出精度に与える影響は何か？
• RQ3 特に多様なソースからの画像を含むトレーニングデータベースのサイズを拡大することにより、ステガノグラフィー解析性能がどの程度向上するか？
• RQ4 切り捨て活性化関数とスケーリング付きバッチ正規化の使用が、ステガノグラフィー CNN のロバスト性と一般化性能を向上させるか？
• RQ5 仮想的データオーグメンテーション（回転と反転）が、深層ステガノグラフィーネットワークの収束時間と誤差確率に与える影響は何か？

主な発見

• Yedroudj-Net は、BOSSBase データセットにおいて 0.2 bpp の条件下で検出誤差確率を 20.8% に低減し、RM+EC ベースライン（誤差確率 36.5%）に対して 16% の改善を達成した。
• BOSSBase のみでトレーニングした場合と比較して、BOSS+BOWS2 でトレーニングした場合、誤差確率が 4% 減少した。これは、Xu-Net（2% 減少）を上回り、Ye-Net（7% 減少）をも上回る。
• 仮想的データオーグメンテーション（BOSS+BOWS2+VA）を適用した場合、Yedroudj-Net は BOSSBase に対して誤差確率を 7% 減少させた。一方、Xu-Net はわずかに 2% の改善、Ye-Net は 11% の改善にとどまった。
• モデルは信頼性高く収束し、ハイパーパramータの初期化に強く依存せず、トランスファー学習や仮想オーグメンテーションを用いずに最高の性能を達成できる。
• SRM 事前処理、切り捨て活性化関数、スケーリング付きバッチ正規化の組み合わせが、ネットワークの優れた性能を実現する上で極めて重要である。
• 112,000 個の拡張済みトレーニングペアを用いても、依然として改善の余地が示唆されており、ステガノグラフィーにおける深層 CNN は、その能力を十分に発揮するためには、はるかに大きなデータセットを必要としていることが示唆される。