[논문 리뷰] ReDMark: Framework for Residual Diffusion Watermarking on Deep Networks

Mahdi Ahmadi, Alireza Norouzi외 5명|arXiv (Cornell University)|2018. 10. 16.

Advanced Steganography and Watermarking Techniques참고 문헌 27인용 수 9

한 줄 요약

ReDMark는 임베딩 및 추출 패턴을 어떤 변환 도메인에서나 적응적으로 학습하는 엔드 투 엔드, 블라인드, 잔차 완전 컨volution 신경망(FCN) 기반 워터마킹 프레임워크를 제안한다. 다양한 공격 레이어(예: JPEG)의 미분 가능성을 통합하고, 넓은 영역의 데이터 확산을 위해 원형 컨볼루션을 활용함으로써, 최신 기법들에 비해 뛰어난 강건성과 미세한 인식성을 달성한다.

ABSTRACT

Due to the rapid growth of machine learning tools and specifically deep networks in various computer vision and image processing areas, application of Convolutional Neural Networks for watermarking have recently emerged. In this paper, we propose a deep end-to-end diffusion watermarking framework (ReDMark) which can be adapted for any desired transform space. The framework is composed of two Fully Convolutional Neural Networks with the residual structure for embedding and extraction. The whole deep network is trained end-to-end to conduct a blind secure watermarking. The framework is customizable for the level of robustness vs. imperceptibility. It is also adjustable for the trade-off between capacity and robustness. The proposed framework simulates various attacks as a differentiable network layer to facilitate end-to-end training. For JPEG attack, a differentiable approximation is utilized, which drastically improves the watermarking robustness to this attack. Another important characteristic of the proposed framework, which leads to improved security and robustness, is its capability to diffuse watermark information among a relatively wide area of the image. Comparative results versus recent state-of-the-art researches highlight the superiority of the proposed framework in terms of imperceptibility and robustness.

연구 동기 및 목표

• 디지털 워터마킹에서 인식성과 강건성의 장기적인 균형 문제를 해결하기 위해.
• 수작업으로 정의된 임베딩 규칙에 의존하지 않고, 딥러닝을 통해 블라인드 워터마킹 시스템의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 학습된 적응 패턴을 통해 워터마크 데이터를 넓은 이미지 영역으로 확산시킴으로써 보안성과 강건성을 향상시키기 위해.
• 실제 공격(예: JPEG 압축)을 학습 중에 미분 가능한 레이어로 시뮬레이션하여 내성 강화를 위해.
• 스펙트럼 도메인(저주파수, 중주파수, 고주파수)에서 학습된 임베딩 전략이 고정된 전통적 방법보다 우수하다는 것을 입증하기 위해.

제안 방법

• 임베딩 및 추출을 위한 두 개의 잔차 완전 컨볼루션 신경망(FCN)을 사용하며, 블라인드 방식으로 엔드 투 엔드로 학습된다.
• 실제 왜곡을 시뮬레이션하기 위해 JPEG 압축 공격의 미분 가능 근사치를 학습 가능한 레이어로 구현한다.
• 경계를 넘는 특징 공유를 가능하게 하고 가장자리 아티팩트를 방지하기 위해 원형 컨볼루션을 적용한다.
• 학습된 마스크를 통해 워터마크 데이터가 넓은 공간 영역으로 확산되며, 학습 목표와 공격 프ofile에 따라 서로 다른 패턴이 나타난다.
• 0비트와 1비트에 대해 별도의 임베딩 전략을 학습함으로써, 변환 도메인에서 워터마크 에너지의 적응적이고 비균일한 분포를 가능하게 한다.
• 수정된 이미지와 모두 0인 마스크 및 단일 비트 워터마크 마스크를 비교하여 시각화한 결과, 공간적 및 스펙트럼적 임베딩 행동이 드러난다.

실험 결과

연구 질문

• RQ1 고정된 임베딩 규칙에 의존하지 않고, 엔드 투 엔드 딥러닝 프레임워크가 강건하고 인식되지 않는 워터마킹 패턴을 학습할 수 있는가?
• RQ2 학습 중에 공격(예: JPEG)을 미분 가능한 방식으로 시뮬레이션하면 워터마킹 시스템의 강건성에 어떤 영향을 미치는가?
• RQ3 워터마크 데이터의 넓은 영역 확산이 일반적인 이미지 처리 공격에 대해 강건성을 얼마나 향상시키는가?
• RQ4 다양한 학습 목표(예: 특정 공격 프ofile)가 임베딩된 워터마크 에너지의 스펙트럼 분포에 어떤 영향을 미치는가?
• RQ5 다른 조건에서 학습된 네트워크들 간에 DCT 도메인에서의 학습된 워터마킹 패턴을 시각적·정량적으로 구별할 수 있는가?

주요 결과

• ReDMark는 [27]과 같은 최신 기술들에 비해 엔드 투 엔드 학습과 미분 가능한 공격을 통해 뛰어난 강건성과 인식성을 달성한다.
• 미분 가능한 JPEG 공격 레이어의 사용은 비교 실험을 통해 JPEG 압축에 대한 내성을 크게 향상시킨다.
• GT-NET은 워터마크를 주로 고주파수 DCT 계수에 임베딩하는 반면, JT-NET은 저주파수 대역을 선호하고, MT-NET은 저주파수 및 중주파수 영역에 분산 전략을 사용한다.
• 확산 패턴은 원형 컨볼루션을 통해 이미지 경계를 넘어서 효과적인 데이터 공유가 가능하며, 가장자리 열화를 방지하고 강건성을 향상시킨다.
• 모든 네트워크가 DC 계수에 임베딩을 피함으로써, 이미지 품질 제약과 PSNR 저하에 대한 학습된 인식을 보여준다.
• 확산 패턴과 주파수 에너지 곡선은 임베딩 비트의 위치에 관계없이 불변성을 보이며, 일관되고 적응적인 임베딩 행동을 확인한다.