[論文レビュー] Robust Data Hiding Using Inverse Gradient Attention

Honglei Zhang, Wang Hu+3 more|arXiv (Cornell University)|Nov 21, 2020

Advanced Steganography and Watermarking Techniques参考文献 30被引用数 14

ひとこと要約

本稿では、メッセージ埋め込みに適したより高い耐性を持つ画素に動的に高い注目重みを割り当てるために、逆勾配注目（IGA）を用いたエンドツーエンドの深層データ隠しモデルを提案する。各画素のメッセージ再構成目的への勾配を計算することで、学習可能なパラメータを追加せずに、耐性が高い高周波成分領域（例：エッジ）を特定する。COCOおよびDIV2Kデータセットにおいて、最先端の手法を著しく上回る耐性と容量を実現した。

ABSTRACT

Data hiding is the procedure of encoding desired information into a certain types of cover media (e.g. images) to resist potential noises for data recovery, while ensuring the embedded image has few perceptual perturbations. Recently, with the tremendous successes gained by deep neural networks in various fields, the research on data hiding with deep learning models has attracted an increasing amount of attentions. In deep data hiding models, to maximize the encoding capacity, each pixel of the cover image ought to be treated differently since they have different sensitivities w.r.t. visual quality. The neglecting to consider the sensitivity of each pixel inevitably affects the model's robustness for information hiding. In this paper, we propose a novel deep data hiding scheme with Inverse Gradient Attention (IGA), combining the idea of attention mechanism to endow different attention weights for different pixels. Equipped with the proposed modules, the model can spotlight pixels with more robustness for data hiding. Extensive experiments demonstrate that the proposed model outperforms the mainstream deep learning based data hiding methods on two prevalent datasets under multiple evaluation metrics. Besides, we further identify and discuss the connections between the proposed inverse gradient attention and high-frequency regions within images, which can serve as an informative reference to the deep data hiding research community. The codes are available at: https://github.com/hongleizhang/IGA.

研究の動機と目的

• 画素レベルの注目を感度に適応させることで、深層学習ベースのデータ隠しにおける耐性、不可視性、容量のトレードオフを解消すること。
• 従来のモデルで見られるブラックボックス型注目メカニズムの限界を克服するため、勾配に基づく説明可能な注目メカニズムを導入すること。
• 耐性の高い画素を特定・優先することで、一般的な歪み（例：JPEG、ぼかし、クロッピング）に対するモデルの耐性を向上させること。
• 二値メッセージを実数値潜在空間にマッピングする対称的メッセージ符号化モジュールを用いることで、埋め込み容量を向上させつつ不可視性を維持すること。
• 逆勾配注目と高周波成分画像領域（例：エッジ）との内在的関係を解明し、将来の耐性のあるデータ隠し設計を支援すること。

提案手法

• 各画素のメッセージ再構成損失への寄与度の勾配を計算する微分可能で勾配に基づく注目メカニズムとして、逆勾配注目（IGA）を提案する。
• 逆勾配の大きさを用いて、歪みに対して耐性があり、メッセージ埋め込みに適した画素を強調する注目マスクを生成する。
• エンドツーエンドのエンコーダ・デコーダフレームワークにIGAを統合し、エンコーダが注目重み付きの摂動を用いてメッセージをカバー画像に埋め込む。
• 二値メッセージを低次元の実数値潜在空間にマッピングする対称的メッセージ符号化モジュールを実装し、容量と一般化性能を向上させる。
• IGAの有効性を検証するためのベースラインとして、Sobelエッジ検出を用いる。
• 不可視性を向上させるためのGANベースの adversarial loss と、正確なメッセージ回復を保証する再構成損失を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なパラメータを追加せずに、勾配に基づく注目メカニズムが深層データ隠しにおける耐性を向上させられるか？
• RQ2 逆勾配注目メカニズムは、エッジなどの高周波成分画像領域とどのように関係しているか？
• RQ3 IGAを用いて高周波成分領域に注目することで、Sobelなどのヒューリスティックエッジ検出よりも優れた性能が得られるか？
• RQ4 提案されたIGAメカニズムは、JPEG圧縮やぼかしなどの一般的な画像歪みに対してどの程度耐性を向上させるか？
• RQ5 対称的メッセージ符号化モジュールは、不可視性を維持しつつ、埋め込み容量を効果的に向上させられるか？

主な発見

• 提案されたIGAモデルは、COCOおよびDIV2Kデータセットの両方で最先端の性能を達成し、アイデンティティ歪み下でCOCOでは74.62%、DIV2Kでは62.26%のビット単位の精度を達成した。
• アブレーションスタディの結果、メッセージ符号化モジュールと注目モジュールを組み合わせたモデルが最良の性能（COCOで74.62%、DIV2Kで62.26%）を示し、基本モデル（COCOで73.56%、DIV2Kで58.04%）を著しく上回った。
• IGAベースのモデルは、Sobel演算子を用いたエッジ検出を行うモデルを上回っており、固定のエッジ検出よりも勾配に基づく注目がより適応的で効果的であることが示された。
• 可視化結果から、IGAマスクと高周波成分領域（例：エッジ）の間には強い一致が確認され、耐性のある画素が主に高周波成分領域に位置していることが裏付けられた。
• 複数の歪みに対して高い耐性を維持し、JPEG圧縮やぼかしなどの厳しい条件下でも、ビット単位の精度が常に50%以上を維持した。
• 実験的結果は、高周波成分領域が視覚的歪みに強く、深層ニューラルネットワークの意思決定において好まれる傾向があるため、データ隠しに適しているという仮説を支持した。