[論文レビュー] CALPA-NET: Channel-pruning-assisted Deep Residual Network for Steganalysis of Digital Images

Shunquan Tan, Weilong Wu+4 more|arXiv (Cornell University)|Nov 12, 2019

Advanced Steganography and Watermarking Techniques参考文献 46被引用数 5

ひとこと要約

CALPA-NET は、従来のトレーニング・プルーニング・ファインチューニングパイプラインを放棄することで、過パrameter化されたディープリプルーリングステガノグラフィスタディアザーをコンパクトで効率的なモデルに変換するチャネルプルーニング支援型アーキテクチャサーチ手法を提案する。パラメータが元のモデルの2%未塔、FLOPsが約1/3にまで削減されながらも、同等のステガノグラフィー検出性能を達成しており、多様なデータセットにわたる優れた適応性とスケーラビリティを示している。

ABSTRACT

Over the past few years, detection performance improvements of deep-learning based steganalyzers have been usually achieved through structure expansion. However, excessive expanded structure results in huge computational cost, storage overheads, and consequently difficulty in training and deployment. In this paper we propose CALPA-NET, a ChAnneL-Pruning-Assisted deep residual network architecture search approach to shrink the network structure of existing vast, over-parameterized deep-learning based steganalyzers. We observe that the broad inverted-pyramid structure of existing deep-learning based steganalyzers might contradict the well-established model diversity oriented philosophy, and therefore is not suitable for steganalysis. Then a hybrid criterion combined with two network pruning schemes is introduced to adaptively shrink every involved convolutional layer in a data-driven manner. The resulting network architecture presents a slender bottleneck-like structure. We have conducted extensive experiments on BOSSBase+BOWS2 dataset, more diverse ALASKA dataset and even a large-scale subset extracted from ImageNet CLS-LOC dataset. The experimental results show that the model structure generated by our proposed CALPA-NET can achieve comparative performance with less than two percent of parameters and about one third FLOPs compared to the original steganalytic model. The new model possesses even better adaptivity, transferability, and scalability.

研究の動機と目的

• 過パrameter化されたディープラーニングステガノグラフィスタディアザーに伴う高い計算コストとストレージコストを低減すること。
• モデル圧縮における標準的なトレーニング・プルーニング・ファインチューニングパイプラインの限界を克服すること。
• 検出性能を損なわずにモデル効率を向上させる、費用対効果が高く、適応可能なアーキテクチャサーチ手法を開発すること。
• 多様なステガノグラフィー源およびデータセットにわたるモデルの適応性、移譲性、スケーラビリティを向上させること。

提案手法

• ThiNetの活性化に基づくチャネルプルーニングとL1ノルムフィルタープルーニングを組み合わせたハイブリッドプルーニング基準を導入し、アーキテクチャサーチを支援する。
• 元のモデルを再学習するか、ファインチューニングするのではなく、プルーニングされたアーキテクチャをそのままスクラッチからトレーニングする。
• 構造的・活性化感度に基づいて、データ駆動型でレイヤーワイズのチャネルプルーニングを適用し、各畳み込み層を適応的に縮小する。
• 広大な逆ピラミッド構造がモデル多様性の原則に反するという理論的考察を提示し、アーキテクチャの単純化を正当化する。
• プルーニングから得られるボトルネック型のスリムなアーキテクチャを採用し、モデルの複雑さを低減しながら検出能力を保持する。
• プルーニング基準をトレーニングプロセスに直接統合した、新たなネットワークアーキテクチャサーチアプローチを活用し、エンドツーエンドの効率性を実現する。

実験結果

リサーチクエスチョン

• RQ1 チャネルプルーニング支援型アーキテクチャサーチ手法は、性能を劣化させることなく、ディープステガノグラフィスタディアザーのモデル複雑度を効果的に低減できるか？
• RQ2 トレーニング・プルーニング・ファインチューニングパイプラインを放棄することで、ステガノグラフィースタディアザーの一般化性能と効率性が向上するか？
• RQ3 既存のステガノグラフィスタディアザーに見られる広大な逆ピラミッド構造は真に有益なものか、それともモデル多様性の原則に反しているか？
• RQ4 スクラッチからトレーニングされたコンパクトでプルーニングされたアーキテクチャは、多様なステガノグラフィー源およびデータセットに一般化できるか？
• RQ5 モデルサイズとFLOPsは、競争力のある検出精度を維持しながら、どの程度まで削減可能か？

主な発見

• CALPA-NET は、BOSSBase+BOWS2 および ALASKA データセットで、元のモデルの2%未塔のパラメータで競争力あるステガノグラフィー検出性能を達成した。
• プルーニングされたモデルは、元のステガノグラフィックモデルと比較してFLOPsを約1/3に削減しながら、検出精度を維持または向上させた。
• スクラッチからトレーニングされた CALPA-SRNet アーキテクチャは、たった76.3263×10⁴イテレーションで最高の検証精度に到達し、ファインチューニングベースラインよりも著しく高速であった。
• モデルは優れた適応性と移譲性を示し、多様なステゴソース条件下でもファインチューニングモデルを上回る性能を発揮した。
• 理論的分析により、深層ネットワークにおける大規模なアグリゲーションが疎な周波数成分を抑制することを確認し、アーキテクチャの単純化を正当化した。
• 提案手法により、複数のステガノグラフィー解析シナリオにおいて、再訓練やファインチューニングを必要としない、一貫した汎用アーキテクチャをスクラッチからトレーニング可能となった。