[논문 리뷰] ONRW: Optimizing inversion noise for high-quality and robust watermark

Xuan Ding, Xiu Yan외 2명|arXiv (Cornell University)|2026. 01. 24.

Advanced Steganography and Watermarking Techniques인용 수 0

한 줄 요약

ONRW는 확산 모델의 역전 노이즈 최적화와 자기-어텐션 제약 및 의사 마스킹을 통해 워터마크를 삽입하여 시각 품질이 높고 이미지 변환 및 공격에 대한 강력한 로버스트성을 제공합니다.

ABSTRACT

Watermarking methods have always been effective means of protecting intellectual property, yet they face significant challenges. Although existing deep learning-based watermarking systems can hide watermarks in images with minimal impact on image quality, they often lack robustness when encountering image corruptions during transmission, which undermines their practical application value. To this end, we propose a high-quality and robust watermark framework based on the diffusion model. Our method first converts the clean image into inversion noise through a null-text optimization process, and after optimizing the inversion noise in the latent space, it produces a high-quality watermarked image through an iterative denoising process of the diffusion model. The iterative denoising process serves as a powerful purification mechanism, ensuring both the visual quality of the watermarked image and enhancing the robustness of the watermark against various corruptions. To prevent the optimizing of inversion noise from distorting the original semantics of the image, we specifically introduced self-attention constraints and pseudo-mask strategies. Extensive experimental results demonstrate the superior performance of our method against various image corruptions. In particular, our method outperforms the stable signature method by an average of 10\% across 12 different image transformations on COCO datasets. Our codes are available at https://github.com/920927/ONRW.

연구 동기 및 목표

• AI 생성 콘텐츠에 대한 robust watermarking을 통해 지적 재산권을 보호하려는 목표.
• 재학습 없이 역전 노이즈 최적화를 통해 워터마크를 삽입하는 확산 모델 기반 프레임워크를 제안.
• 워터마크의 무 perceptible성 및 일반적/의도적 이미지 변형에 대한 견고성 확보.

제안 방법

• Stable Diffusion에서 null-text inversion을 사용하여 깨끗한 이미지를 역전 노이즈로 변환한다.
• 확산 디노이즈 과정 중 워터마크 정보를 삽입하기 위해 잠재 공간에서 역전 노이즈를 최적화한다.
• 이미지 구조를 보존하기 위해 자기-어텐션 제약을 적용하고 전경 영역으로 워터마킹을 제한하기 위한 의사 마스크를 사용한다.
• 트레이닝 중에 시뮬레이션 공격 레이어를 도입하여 변형 및 재구성에 대한 워터마크의 로버스트성을 높인다.
• 해독된 워터마크 정확도, 자기-어텐션 일관성 및 이미지 충실도를 결합한 손실(L = alpha L_decoded + beta L_self-attention + gamma L_mse)을 사용한다.
• 사전 학습된 확산 및 디코더 구성요소를 넘어서는 추가 학습이 필요하지 않다.

실험 결과

연구 질문

• RQ1 확산 모델에서 최적화된 역전 노이즈를 통해 이미지에 워터마크 정보를 invisibly 삽입할 수 있는가?
• RQ2 자기-어텐션 제약 및 의사 마스킹이 확산 기반 워터마크의 시각 품질과 로버스트성을 향상시키는가?
• RQ3 제안된 ONRW 워터마크는 일반적인 기하학적/광학 편집 및 압축 공격에 대해 얼마나 견고한가?
• RQ4 학습 중 시뮬레이션 공격 레이어를 도입하는 것이 모델 가중치를 재학습하지 않고도 워터마크의 탄력성을 향상시키는가?

주요 결과

데이터셋	공격	Dwt-Dct	Dwt-Dct-Svd	SSL 워터마크	HiDDeN	RivaGAN	Stable Signature	오우르스
COCO	None	0.93	0.99	0.99	0.99	0.84	0.99	0.99
COCO	Crop_01	0.49	0.50	0.53	0.88	0.61	0.92	0.99
COCO	Crop_05	0.53	0.52	0.83	0.97	0.76	0.99	0.99
COCO	Rot_25	0.47	0.51	0.91	0.61	0.61	0.64	0.93
COCO	Rot_90	0.63	0.53	0.97	0.58	0.52	0.51	0.94
COCO	Resize_0.3	0.48	0.99	0.99	0.54	0.58	0.65	0.96
COCO	Resize_0.7	0.72	0.99	0.99	0.87	0.79	0.96	0.99
COCO	Brightness_1.5	0.39	0.46	0.63	0.99	0.53	0.98	0.99
COCO	Brightness_2.0	0.64	0.50	0.56	0.98	0.45	0.96	0.98
COCO	JPEG_80	0.44	0.52	0.73	0.93	0.56	0.90	0.97
COCO	JPEG_50	0.42	0.51	0.59	0.83	0.51	0.84	0.89
COCO	Noise	0.49	0.53	0.99	0.99	0.60	0.99	0.98
COCO	Filter	0.53	0.98	0.99	0.69	0.81	0.90	0.91
COCO	Average	0.55	0.66	0.82	0.83	0.63	0.86	0.96
ImageNet	None	0.86	0.99	0.99	0.99	0.78	0.99	0.99
ImageNet	Crop_01	0.51	0.50	0.59	0.87	0.61	0.91	0.98
ImageNet	Crop_05	0.51	0.53	0.80	0.97	0.72	0.98	0.99
ImageNet	Rot_25	0.51	0.51	0.85	0.61	0.58	0.64	0.90
ImageNet	Rot_90	0.49	0.54	0.92	0.58	0.52	0.50	0.91
ImageNet	Resize_0.3	0.57	0.98	0.66	0.54	0.58	0.63	0.98
ImageNet	Resize_0.7	0.73	0.99	0.87	0.86	0.73	0.95	0.99
ImageNet	Brightness_1.5	0.41	0.45	0.92	0.98	0.53	0.97	0.98
ImageNet	Brightness_2.0	0.49	0.50	0.83	0.97	0.49	0.95	0.96
ImageNet	JPEG_80	0.50	0.52	0.85	0.91	0.56	0.88	0.96
ImageNet	JPEG_50	0.51	0.51	0.66	0.80	0.53	0.82	0.88
ImageNet	Noise	0.47	0.53	0.91	0.97	0.60	0.98	0.96
ImageNet	Filter	0.60	0.96	0.98	0.69	0.74	0.88	0.91
ImageNet	Average	0.55	0.65	0.83	0.83	0.61	0.85	0.95

• ONRW는 COCO 데이터셋의 12개 이미지 변환에서 Stable Signature를 평균 10% 이상 상회했다.
• 정성적 및 정량적 결과는 다양한 왜곡 하에서 높은 이미지 품질과 로버스트한 워터마크 추출을 보여준다.
• PSNR/SSIM 지표는 이미지 충실도 측면에서 경쟁력을 보이며, None 조건에서 COCO 데이터셋에 대해 PSNR 27.11 및 SSIM 0.88를 달성한다(경쟁자 대비).
• 로버스트니스 테스트에서 COCO에 대해 일반적인 기하학적 및 광도 편집을 거친 후 평균 비트 정확도가 0.95를 초과한다.
• 생성 이후 방법과 비교하여 ONRW는 압축 및 재구성 공격에서 더 높은 워터마크 추출 정확도를 유지한다.
• 에일리오레이션 연구는 시뮬레이션 공격 레이어와 null-text 최적화의 중요성을 확인하여 품질과 로버스트성의 균형을 이룬다.