[論文レビュー] Editing Away the Evidence: Diffusion-Based Image Manipulation and the Failure Modes of Robust Watermarking

Qian Qi, Jiangyun Tang+3 more|arXiv (Cornell University)|Mar 13, 2026

Advanced Steganography and Watermarking Techniques被引用数 0

ひとこと要約

拡散ベースの画像編集が頑健な不可視ウォーターマークを意図せず低下・除去する可能性を分析し、理論、評価プロトコル、設計指針を提供する。

ABSTRACT

Robust invisible watermarks are widely used to support copyright protection, content provenance, and accountability by embedding hidden signals designed to survive common post-processing operations. However, diffusion-based image editing introduces a fundamentally different class of transformations: it injects noise and reconstructs images through a powerful generative prior, often altering semantic content while preserving photorealism. In this paper, we provide a unified theoretical and empirical analysis showing that non-adversarial diffusion editing can unintentionally degrade or remove robust watermarks. We model diffusion editing as a stochastic transformation that progressively contracts off-manifold perturbations, causing the low-amplitude signals used by many watermarking schemes to decay. Our analysis derives bounds on watermark signal-to-noise ratio and mutual information along diffusion trajectories, yielding conditions under which reliable recovery becomes information-theoretically impossible. We further evaluate representative watermarking systems under a range of diffusion-based editing scenarios and strengths. The results indicate that even routine semantic edits can significantly reduce watermark recoverability. Finally, we discuss the implications for content provenance and outline principles for designing watermarking approaches that remain robust under generative image editing.

研究の動機と目的

• 拡散編集が benign 編集シナリオ下で不可視ウォーターマークに与える影響を理解する動機づけ。
• 拡散ノイズ、デノイズ、ウォーターマーク情報の減衰を結ぶ理論的枠組みを構築する。
• 拡散編集者下でのウォーターマークの頑健性を評価するストレステストプロトコル（DEW-ST）を提案する。
• 拡散ベースの編集のスペクトルにわたって代表的なウォーターマーク手法をベンチマークする。
• 拡散耐性を設計する実践的ガイドラインを概説する。

提案手法

• 前方ノイズ付加と条件付き逆デノイズを指示付きに組み合わせたマルコフカーネルとして拡散編集をモデル化する。
• 低振幅の加算残差 x_w = x + γ s(m, k, x) を用いてウォーターマークを表現し、信号対雑音比(SNR)と相互情報の減衰を拡散経路に沿って解析する。
• ウォーターマークのSNR減衰と相互情報の減衰に関する境界を導出し、ファノ型誤り境界に結びつける。
• 拡散編集ウォーターマークのストレステスト（DEW-ST）を導入し、エディタ、指示、強度全体にわたる頑健性を一様に評価する。
• 拡散ベースの編集下での3つのウォーターマーク基準法（StegaStamp、TrustMark、VINE）を比較し、PSNR/LPIPSとともにビット精度、AUC、BERを報告する。
• 拡散ネイティブのウォーターマーキングと、拡散対応の訓練目的を含む訓練戦略について議論する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの画像編集はどの条件で頑健なウォーターマークを低下させるか、除去するか。
• RQ2 拡散経路に沿ったウォーターマークの劣化をSNRと相互情報の観点でどのように定量化できるか。
• RQ3 広範な拡散ベース編集セットに対する代表的ウォーターマーク手法の経験的頑健性はどの程度か。
• RQ4 生成的画像編集下でウォーターマーク設計を改善して頑健性を維持するにはどのような指針があるか。
• RQ5 拡散編集の頑健性をストレステストする評価プロトコルを標準化するにはどうすべきか。

主な発見

Transformation family	Strength	StegaStamp	TrustMark	VINE	PSNR (dB)	LPIPS
None (watermarked only)	–	99.4%	99.7%	99.8%	41.2	0.012
JPEG (quality 50)	–	96.1%	98.2%	98.9%	33.5	0.041
Resize (0.5 × then upsample)	–	94.7%	97.5%	98.1%	34.2	0.038
Center crop (0.9) + resize	–	92.3%	96.8%	97.9%	35.0	0.036
InstructPix2Pix global edit (t* = 0.4)	0.4	71.5%	76.1%	85.4%	29.8	0.213
InstructPix2Pix global edit (t* = 0.8)	0.8	53.2%	55.0%	60.7%	25.1	0.344
UltraEdit (t* = 0.4)	0.4	68.7%	74.3%	84.1%	30.5	0.201
UltraEdit (t* = 0.8)	0.8	52.1%	54.7%	59.9%	25.6	0.332
DragDiffusion (medium)	medium	63.4%	67.9%	78.6%	28.7	0.261
DragFlow (medium)	medium	60.8%	65.1%	76.9%	29.2	0.248
TF-ICON composition	–	58.9%	63.2%	74.8%	28.1	0.279
SHINE insertion	–	55.6%	60.4%	72.2%	28.9	0.254

• 拡散編集は mild な編集でもウォーターマークの回収を崩壊させる。
• 指示ベースのエディタでは編集強度の増加に伴いビット精度が低下する。
• 構成・挿入パイプラインはウォーターマーク回復性の劣化を特に強く示す。
• 拡散情報を考慮した訓練（例：VINE）は一部基準法に対して頑健性を向上するが、強い編集下では依然失敗する。
• 拡散編集ストレステストプロトコル（DEW-ST）はエディタとペイロード間の頑健性と忠実性を系統的にベンチマークできる。
• ウォーターマークエネルギーは中〜高周波に集中することが多く、拡散編集によって抑制され検出性が低下する。