[論文レビュー] Towards Photo-Realistic Visible Watermark Removal with Conditional Generative Adversarial Networks

Li Xiang, Chan Lu+6 more|arXiv (Cornell University)|May 30, 2019

Advanced Steganography and Watermarking Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、未知で多様な水増しの実世界シナリオにおける写真のようにリアルな可視水増しの除去を目的とした、条件付き生成対抗ネットワーク（cGAN）ベースのフレームワークを提案する。水増し画像に条件付けられたパッチベースの識別器と、対抗損失およびピクセル単位のコンテンツ損失（L1 + 知覚的損失）を組み合わせることで、先行する最先端手法よりもよりリアルで残留痕跡のない再構成を生成する。人間による評価によって検証されたように、知覚的品質が顕著に向上している。

ABSTRACT

Visible watermark plays an important role in image copyright protection and the robustness of a visible watermark to an attack is shown to be essential. To evaluate and improve the effectiveness of watermark, watermark removal attracts increasing attention and becomes a hot research top. Current methods cast the watermark removal as an image-to-image translation problem where the encode-decode architectures with pixel-wise loss are adopted to transfer the transparent watermarked pixels into unmarked pixels. However, when a number of realistic images are presented, the watermarks are more likely to be unknown and diverse (i.e., the watermarks might be opaque or semi-transparent; the category and pattern of watermarks are unknown). When applying existing methods to the real-world scenarios, they mostly can not satisfactorily reconstruct the hidden information obscured under the complex and various watermarks (i.e., the residual watermark traces remain and the reconstructed images lack reality). To address this difficulty, in this paper, we present a new watermark processing framework using the conditional generative adversarial networks (cGANs) for visible watermark removal in the real-world application. The proposed method enables the watermark removal solution to be more closed to the photo-realistic reconstruction using a patch-based discriminator conditioned on the watermarked images, which is adversarially trained to differentiate the difference between the recovered images and original watermark-free images. Extensive experimental results on a large-scale visible watermark dataset demonstrate the effectiveness of the proposed method and clearly indicate that our proposed approach can produce more photo-realistic and convincing results compared with the state-of-the-art methods.

研究の動機と目的

• 未知で多様かつ複雑な可視水増しを、事前の知識が得られない実世界の画像から除去する課題に対処すること。
• 水増し除去後の画像の知覚的リアリズムを向上させ、残留痕跡を低減し、視覚的に妥当な結果を実現すること。
• さまざまな水増しパターンや不透明度に一般化できる、耐障害性がありエンドツーエンドのフレームワークを構築すること。
• パッチベースの識別器を用いた対抗学習が、従来の画像レベルの識別器と比較してより写真のようにリアルな結果をもたらすかどうかを検証すること。
• PSNR や SSIM といった標準指標よりも、人間の視覚的知覚を優先する新しい水増し除去のベンチマークを確立すること。

提案手法

• 生成器が水増し済み入力画像に条件付けられた条件付きGAN（cGAN）を採用し、水増しのない出力を生成する。
• パッチベースの識別器を導入し、画像の局所的パッチのリアリズムを評価する。入力の水増し済み画像に条件付けられ、実画像と生成画像を区別する。
• 生成器は、リアリズムを向上させるために対抗損失と、構造的および意味的詳細を保持するためのコンテンツ損失（L1 + 知覚的損失）を組み合わせたハイブリッド損失関数で訓練される。
• 知覚的損失は、事前学習済みのVGGネットワークからの特徴量を用いて計算され、生成画像と正解画像の高次特徴空間での一致を保証する。
• バックプロパゲーションを用いたエンドツーエンドの訓練が、Adam最適化法により実施され、生成器と識別器の共同最適化が可能になる。
• パッチベースの識別器は画像レベルの識別器よりも軽量で高速であり、大規模な画像における効率的な訓練および推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 事前の水増しパターンの知識がなくても、cGANベースのフレームワークが多様で未知の可視水増しを効果的に除去できるか。
• RQ2 パッチベースの識別器を組み込むことで、画像レベルの識別器と比較して、水増し除去後の画像の写真的リアリズムが向上し、残留痕跡が減少するか。
• RQ3 対抗損失とコンテンツ損失（L1 + 知覚的損失）の組み合わせが、ピクセル単位の損失のみを用いた場合と比較して、より知覚的に説得力のある結果を生み出せるか。
• RQ4 PSNR や DSSIM のスコアが類似している場合でも、本手法は人間の視覚的知覚において、最先端の手法と比較して優れているか。
• RQ5 本手法のフレームワークは、複雑で濃い、または半透明な水増しを含む実世界の画像にどの程度一般化可能か。

主な発見

• 本手法はLVWデータセットで平均意見スコア（MOS）4.08を達成し、Chengらの手法（MOS = 3.23）を顕著に上回り、知覚的品質の優位性を示した。
• パッチベースの識別器はPSNR 30.69、DSSIM 0.045を達成し、画像ベースの識別器（PSNR: 29.72、DSSIM: 0.052）を上回り、局所的なリアリズムと再構成忠実度の向上を示した。
• 定性的な比較（図4）から、残留水増し痕跡が最小限に抑えられ、人間の観察者が本手法の出力を好む結果が得られた。
• 対抗損失のコンponentがリアリズム向上に不可欠であった。これなしに訓練したモデルは、目立つアーティファクトと不自然なテクスチャを示した。
• パッチベースの識別器は、パrameter数が少なく、推論が速いため、画像レベルの識別器よりも効率的かつスケーラブルであり、実世界の展開に適している。
• Cheng らの手法よりもわずかにPSNRとDSSIMが低かったが、本手法は高いMOSを達成した。これは、知覚的品質が標準指標よりも人間の評価によってより的確に捉えられることを確認した。