[論文レビュー] Towards Robust Data Hiding Against (JPEG) Compression: A Pseudo-Differentiable Deep Learning Approach

Chaoning Zhang, Adil Karjauv+2 more|arXiv (Cornell University)|Dec 30, 2020

Advanced Steganography and Watermarking Techniques参考文献 19被引用数 11

ひとこと要約

この論文は、JPEG、JPEG2000、WebP、およびMPEGやXVIDなどの動画コーデックを含む損失あり圧縮に対して耐性を持つ、エンドツーエンドの訓練が可能な疑似微分可能ディープラーニングフレームワークを提案する。非微分可能な圧縮処理をバックプロパゲーションで通さずに勾配伝播を可能にする微分可能疑似ノイズパスを導入することで、ホワイトボックス知識や複雑な圧縮手順の模倣を必要とせず、複数の圧縮基準において最先端のビット誤り率（BER）性能を達成する。

ABSTRACT

Data hiding is one widely used approach for protecting authentication and ownership. Most multimedia content like images and videos are transmitted or saved in the compressed form. This kind of lossy compression, such as JPEG, can destroy the hidden data, which raises the need of robust data hiding. It is still an open challenge to achieve the goal of data hiding that can be against these compressions. Recently, deep learning has shown large success in data hiding, while non-differentiability of JPEG makes it challenging to train a deep pipeline for improving robustness against lossy compression. The existing SOTA approaches replace the non-differentiable parts with differentiable modules that perform similar operations. Multiple limitations exist: (a) large engineering effort; (b) requiring a white-box knowledge of compression attacks; (c) only works for simple compression like JPEG. In this work, we propose a simple yet effective approach to address all the above limitations at once. Beyond JPEG, our approach has been shown to improve robustness against various image and video lossy compression algorithms.

研究の動機と目的

• JPEGのような非微分可能な損失あり圧縮下でのデータホールディング用ディープラーニングモデルの訓練に課題に取り組むこと。
• JPEGの圧縮に特化した微分可能近似を設計する必要性を排除すること。
• JPEG2000、WebP、および動画コーデックを含む多様な損失あり圧縮基準に対して耐性を持つデータホールディングを可能にすること。圧縮プロセスの内部メカニズムを事前に知る必要がない。
• 非微分可能な圧縮をブラックボックスとして扱う、統一的かつ即座に適用可能な手法を開発すること。これにより、新しいまたは複雑な圧縮アルゴリズムへの適応が簡素化される。

提案手法

• 前方伝播中に、ノイズの効果を模倣するが勾配計算は圧縮画像パスを介してのみ実行可能な疑似ノイズパスを導入する。
• 逆伝播では、非微分可能なJPEG処理を回避し、圧縮画像からのみ勾配を計算することで、エンドツーエンドの訓練を可能にする。
• 前方伝播では、圧縮画像に疑似ノイズを加算および減算する。これにより出力値に影響は生じないが、ノイズパスを介した勾配伝播が可能になる。
• 任意の非微分可能な圧縮操作をブラックボックスとして扱い、内部メカニズムの逆設計は不要。前方実行のみを要件とする。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで訓練する。主な革新点は、勾配伝播を圧縮処理から分離することにある。
• 本手法は汎用的であり、JPEG、JPEG2000、WebP、MPEG、XVIDにアーキテクチャの変更なしに適用可能。

実験結果

リサーチクエスチョン

• RQ1 JPEGのような非微分可能な圧縮処理が存在する場合、ディープラーニングベースのデータホールディングモデルをエンドツーエンドで訓練できるか？
• RQ2 JPEG2000 や WebP を含む複数の損失あり圧縮基準に対して耐性を持つ、単一の訓練フレームワークが、圧縮固有の微分可能近似を必要とせずに実現可能か？
• RQ3 疑似微分可能アプローチは、微分可能な関数でJPEG圧縮を近似する従来の手法を上回る性能を示すか？
• RQ4 本手法は、MPEG や XVID などの動画圧縮コーデックに対しても、アーキテクチャの変更なしに拡張可能か？
• RQ5 JPEG、JPEG2000、WebP、および動画コーデックを同時に耐性とするようにモデルを訓練することが可能か？

主な発見

• 本手法は、JPEG-90 で BER 12.00% を達成し、従来のSOTA手法（13.81%）を上回り、すべての品質因子で誤り率を顕著に低減した。
• JPEG2000 では、品質因子900で BER 0.03% を達成し、高圧縮レベルでも高い耐性を示した。
• WebP では、品質因子90で BER 12.14% を達成し、異なる画像圧縮フォーマット間で一貫した性能を示した。
• 動画圧縮では、MPEG4 で BER 8.45%、XVID で BER 13.59% を達成し、ランダム推測（50%）よりも顕著に優れた性能を示した。
• 複数の圧縮タイプを同時に耐性とするように訓練した場合、平均ピクセル差異が8.54/255と低く保たれ、秘密情報と回復された画像の間で歪みが小さいことを確認した。
• 本手法は、ホワイトボックスアクセスや複雑な圧縮模倣を必要とせず、JPEG2000 や WebP を含む複数の損失あり圧縮基準においてエンドツーエンドの耐性を持つデータホールディングを初めて実証した。