[論文レビュー] WDNet: Watermark-Decomposition Network for Visible Watermark Removal

Yang Liu, Zhen Zhu+1 more|arXiv (Cornell University)|Dec 14, 2020

Advanced Steganography and Watermarking Techniques参考文献 26被引用数 4

ひとこと要約

WDNetは、最初に粗い透かしと透明度を局所化・推定し、その後軽量な精練ネットワークで結果を精錬する2段階のディーブラーニングフレームワークである。これは、分離された透かしを用いたデータ拡張により一般化性能が向上し、200色の透かしを含む新しいCLWDデータセットで検証された、透かし除去および分離における最先端のパフォーマンスを達成している。

ABSTRACT

Visible watermarks are widely-used in images to protect copyright ownership. Analyzing watermark removal helps to reinforce the anti-attack techniques in an adversarial way. Current removal methods normally leverage image-to-image translation techniques. Nevertheless, the uncertainty of the size, shape, color and transparency of the watermarks set a huge barrier for these methods. To combat this, we combine traditional watermarked image decomposition into a two-stage generator, called Watermark-Decomposition Network (WDNet), where the first stage predicts a rough decomposition from the whole watermarked image and the second stage specifically centers on the watermarked area to refine the removal results. The decomposition formulation enables WDNet to separate watermarks from the images rather than simply removing them. We further show that these separated watermarks can serve as extra nutrients for building a larger training dataset and further improving removal performance. Besides, we construct a large-scale dataset named CLWD, which mainly contains colored watermarks, to fill the vacuum of colored watermark removal dataset. Extensive experiments on the public gray-scale dataset LVW and CLWD consistently show that the proposed WDNet outperforms the state-of-the-art approaches both in accuracy and efficiency. The code and CLWD dataset are publicly available at https://github.com/MRUIL/WDNet.

研究の動機と目的

• 既存の透かし除去手法が透かし分離機能を欠くことや、多様な透かしスタイルへの一般化に欠けるという限界に対処すること。
• 画像から透かしを除去するとともに、明示的に透かしを分解できるディーブラーニングモデルの開発を目的とすること。これにより、分離された透かしを再利用してトレーニングデータ拡張が可能になる。
• 200色の透かしを含む大規模かつ多様なデータセット（CLWD）を構築し、現実世界の色付き透かしトレーニングデータの不足を解消すること。
• 後処理ステップを回避しながら、除去精度と推論効率の両方で高いパフォーマンスを達成すること。
• 分離された透かしを活用してトレーニングデータを拡張することで、モデルの一般化性能を向上させること。

提案手法

• WDNetは2段階のジェネレータを採用する。第1段階ではU-Netバックボーンを用いて粗い透かしとその透明度を予測し、透かしのない画像の初期分解を可能にする。
• 第1段階の出力を用いて、逆方向の画像合成式を適用して予備の透かしのない画像を再構築する。
• 第2段階では、残差ブロックで構成される小型のリファインメントネットワークを用いて、初期出力のピクセル単位の精錬を実行し、局所的詳細に焦点を当てる。
• 2段階のネットワークは、後処理を必要とせず、エンドツーエンド最適化が保証されるように同時に訓練される。
• モデルは、未知の画像から透かしを分離できる能力を活用し、分離された透かしを用いて新しいトレーニングペアを合成してデータ拡張に活用する。
• 200色の透かしを含む大規模な新規データセットCLWDを構築し、より現実的で多様な透かしパターンのトレーニングおよび評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、後処理を要せず、高品質な除去を達成しながら、画像から可視透かしを効果的に分解できるか？
• RQ2 未知の画像から分離された透かしを、データ拡張を通じてモデルの一般化性能を向上させるために効果的に再利用できるか？
• RQ3 透かしを最初に局所化し、その後に結果を精錬する2段階アーキテクチャは、透かし除去においてエンドツーエンドの画像対画像変換よりも優れた性能を示すか？
• RQ4 色付き透かしデータセット（CLWD）でトレーニングされた透かし除去モデルの性能は、グレースケールのみのデータセット（LVW）でトレーニングされたモデルと比べてどのように異なるか？
• RQ5 透かし分離は、透かし除去モデルのロバストネスおよび一般化性能をどの程度向上させるか？

主な発見

• WDNetはLVWおよびCLWDデータセットの両方で最先端のパフォーマンスを達成し、PSNR、SSIM、LPIPSといった主な指標すべてで従来手法を上回っている。
• モデルは特にクロスデータセット評価において優れた一般化性能を示しており、異なる分布からのデータ（例：LVW → CLWD、CLWD → LVW）に対して強い性能を維持している。
• CLWD-60の分離透かしを用いてCLWD-100のトレーニングデータを拡張した結果、明確なパフォーマンス向上が得られ、透かし分離によるデータ拡張の有効性が裏付けられた。
• WDNetは大多数のSOTA手法よりも高速であり、Liら[16]に次いで推論速度が速いため、正確性と効率性のバランスに優れている。
• LVWと比較して、CLWDはより多様で一般化された透かしパターンを含んでおり、LVWからCLWDへの転送時に顕著な性能差が生じることでそれが裏付けられている。
• 視覚的結果では、WDNetが真値画像と最も高い構造的一致性を持つ出力を生成しており、再利用可能な透かしを効果的に分離している。