[논문 리뷰] Distortion Agnostic Deep Watermarking

Xiyang Luo, Ruohan Zhan외 3명|arXiv (Cornell University)|2020. 01. 14.

Advanced Steganography and Watermarking Techniques참고 문헌 44인용 수 5

한 줄 요약

이 논문은 훈련 중에 이미지 왜곡을 명시적으로 모델링하지 않고도 강건한 메시지 추출을 달성하는 왜곡 무관( distortion-agnostic ) 딥 워터마킹 프레임워크를 제안한다. 적대적 훈련과 CNN 기반의 편향을 통합하고 채널 코딩을 통해 부가 정보를 도입함으로써, 고정된 왜곡 집합으로 훈련된 모델보다 알려지지 않은 왜곡에 더 잘 일반화된다. 기존 왜곡에 대해선 성능을 유지하거나 초월하며, 특히 알려지지 않은 왜곡에 대해 상당한 일반화 성능 향상을 보인다.

ABSTRACT

Watermarking is the process of embedding information into an image that can survive under distortions, while requiring the encoded image to have little or no perceptual difference from the original image. Recently, deep learning-based methods achieved impressive results in both visual quality and message payload under a wide variety of image distortions. However, these methods all require differentiable models for the image distortions at training time, and may generalize poorly to unknown distortions. This is undesirable since the types of distortions applied to watermarked images are usually unknown and non-differentiable. In this paper, we propose a new framework for distortion-agnostic watermarking, where the image distortion is not explicitly modeled during training. Instead, the robustness of our system comes from two sources: adversarial training and channel coding. Compared to training on a fixed set of distortions and noise levels, our method achieves comparable or better results on distortions available during training, and better performance on unknown distortions.

연구 동기 및 목표

• 명시적이고 고정된 왜곡 집합으로 훈련된 딥 워터마킹 모델의 낮은 일반화 성능을 해결하기 위해.
• 실제 환경에서 흔히 발생하는 알려지지 않은 또는 비미분 가능한 왜곡에 대해 강건성을 유지하는 워터마킹 시스템을 개발하기 위해.
• 특정 왜곡을 훈련 중에 모델링할 필요 없이 고도로 투명성과 높은 메시지 용량을 유지하면서도 성능을 확보하기 위해.
• 왜곡 유형에 대한 사전 지식 없이도, 암시적 왜곡 시뮬레이션과 부가 정보 삽입을 통해 강건성을 향상시키기 위해.

제안 방법

• 프레임워크는 적대적 훈련을 활용하며, CNN 기반의 공격 네트워크가 다양한, 미분 가능한 편향을 생성하여 광범위한 이미지 왜곡을 시뮬레이션한다.
• 워터마킹 인코더와 디코더는 함께 최적화되며, 이미지 복원 손실(L_I)과 메시지 손실(L_M)을 조합한 손실 함수를 사용한다. L_I는 시각적 품질과 커버 이미지에의 가까움을 위해 사용되고, L_M은 정확한 메시지 임베딩과 추출을 위해 사용된다.
• 적대적 예제(I_adv)는 공격 네트워크 G_adv에 의해 생성되며, 이는 워터마킹 모델이 이러한 편향에 강건해지도록 훈련시키며, 적대적 손실(L_adv)을 최소화한다.
• 메시지 임베딩 전에 채널 코딩이 적용되어 왜곡 중 메시지 손상에 대한 내성을 향상시킨다.
• 워터마킹 네트워크(F_enc, F_dec)와 공격 네트워크(G_adv) 간에 훈련을 번갈아가며, 강건성에 대한 상호 적응적 학습을 가능하게 한다.
• 훈련 중에 명시적 왜곡 모델링이 필요 없어, 훈련 중에 보지 못한 왜곡에 대한 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 딥 워터마킹 시스템이 훈련 중에 이미지 왜곡을 명시적으로 모델링하지 않고도 높은 강건성을 달성할 수 있는가?
• RQ2 CNN 기반의 편향을 활용한 적대적 훈련은 고정된 왜곡 유형으로 훈련하는 것과 비교해 알려지지 않은 왜곡에 대한 일반화 성능에서 어떻게 다른가?
• RQ3 채널 코딩이 왜곡 무관 워터마킹 프레임워크에서 강건성 향상에 얼마나 기여하는가?
• RQ4 적대적 훈련과 채널 코딩의 조합은 명시적 왜곡 증강으로 훈련된 모델보다 성능이 뛰어나게 되는가?
• RQ5 공격 네트워크의 복잡도는 워터마킹 시스템의 강건성과 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 JPEG(Q=50)에서 81.7%의 비트 정확도, 크롭(p=0.09)에서 93.5%, 블러(σ=1.0)에서 92.8%, 드롭아웃(p=0.3)에서 97.9%를 기록하며, 알려지지 않은 왜곡에서 기존의 아이덴티티 모델과 병합된 왜곡 모델을 모두 초월한다.
• 특히 색상 변경 왜곡과 같은 알려지지 않은 왜곡에서, 병합된 왜곡 모델이 일반화 문제로 어려움을 겪는 데 비해 본 모델은 유의미하게 뛰어난 성능을 보인다.
• 제거 실험 결과, 적대적 훈련 자체만으로도 강건성 향상에 상당한 기여가 있었으며, 채널 코딩과 조합할 경우 고성능 영역에서 정확도가 더욱 향상됨을 확인했다.
• 공격 네트워크 복잡도 분석 결과, 더 복잡한 네트워크는 과적합으로 인해 성능이 약간 떨어지며, 캡처 또는 잔여 구조를 사용한 경우 성능은 혼합된 결과를 보였고, FGSM은 단일 왜곡 유형에 과적합되어 성능이 열악했다.
• 기존 기준 모델 대비 다양한 왜곡에서 비트 정확도의 분산이 낮아, 더 안정적이고 일관된 성능을 보였다.
• 특히 훈련 중에 보지 못한 왜곡에 대해, 명시적 왜곡 모델링으로 훈련된 모델보다 본 프레임워크가 더 우수한 일반화 성능을 보이며, 왜곡 무관 설계의 타당성을 입증한다.