[논문 리뷰] WDNet: Watermark-Decomposition Network for Visible Watermark Removal

Yang Liu, Zhen Zhu외 1명|arXiv (Cornell University)|2020. 12. 14.

Advanced Steganography and Watermarking Techniques참고 문헌 26인용 수 4

한 줄 요약

WDNet는 두 단계로 구성된 딥러닝 프레임워크로, 먼저 수평 수준의 워터마크와 투명도를 국소화하고 추정한 후, 경량의 정밀화 네트워크로 결과를 개선함으로써 이미지에서 시각적 워터마크를 분해한다. 이는 워터마크 제거 및 분리에서 최신 기술 수준의 성능을 달성하며, 분리된 워터마크를 활용한 데이터셋 증강을 통해 일반화 능력을 향상시켰다. 이는 200개의 색상 워터마크를 포함하는 새로운 CLWD 데이터셋에서 검증되었다.

ABSTRACT

Visible watermarks are widely-used in images to protect copyright ownership. Analyzing watermark removal helps to reinforce the anti-attack techniques in an adversarial way. Current removal methods normally leverage image-to-image translation techniques. Nevertheless, the uncertainty of the size, shape, color and transparency of the watermarks set a huge barrier for these methods. To combat this, we combine traditional watermarked image decomposition into a two-stage generator, called Watermark-Decomposition Network (WDNet), where the first stage predicts a rough decomposition from the whole watermarked image and the second stage specifically centers on the watermarked area to refine the removal results. The decomposition formulation enables WDNet to separate watermarks from the images rather than simply removing them. We further show that these separated watermarks can serve as extra nutrients for building a larger training dataset and further improving removal performance. Besides, we construct a large-scale dataset named CLWD, which mainly contains colored watermarks, to fill the vacuum of colored watermark removal dataset. Extensive experiments on the public gray-scale dataset LVW and CLWD consistently show that the proposed WDNet outperforms the state-of-the-art approaches both in accuracy and efficiency. The code and CLWD dataset are publicly available at https://github.com/MRUIL/WDNet.

연구 동기 및 목표

• 기존 워터마크 제거 방법이 워터마크 분리 기능이 부족하고 다양한 워터마크 스타일에 일반화되지 않는 한계를 해결하기 위해.
• 딥러닝 모델을 개발하여 이미지에서 워터마크를 제거하고 동시에 명시적으로 분해함으로써, 분리된 워터마크를 재사용하여 훈련 데이터 증강을 가능하게 하기 위해.
• 실제 생활에서의 색상 워터마크 훈련 데이터 부족 문제를 해결하기 위해, 200개의 색상 워터마크를 포함한 대규모이고 다양한 워터마크 패턴을 가진 데이터셋(CLWD)을 구축하기 위해.
• 후처리 단계 없이도 높은 정확도와 추론 효율성을 동시에 달성하기 위해.
• 분리된 워터마크를 활용하여 훈련 데이터를 증강함으로써 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• WDNet는 두 단계로 구성된 생성기 구조를 사용한다. 첫 번째 단계는 U-Net 기반 백본을 사용하여 원시 워터마크와 투명도를 예측함으로써 워터마크가 제거된 이미지의 초기 분해를 가능하게 한다.
• 첫 번째 단계의 출력을 바탕으로 역방향 이미지 조합 공식을 사용하여 초기 워터마크가 제거된 이미지를 재구성한다.
• 두 번째 단계는 잔차 블록으로 구성된 소형 정밀화 네트워크를 사용하여 초기 출력의 픽셀 단위로 세부 사항을 정밀하게 보정한다.
• 두 단계의 네트워크는 후처리 없이 공동으로 훈련되며, 종단 간 최적화를 보장한다.
• 모델은 미리 보지 않은 이미지에서 워터마크를 분리할 수 있는 능력을 활용하여, 이를 바탕으로 새로운 훈련 쌍을 합성함으로써 데이터 증강을 수행한다.
• 실제적인 다양한 워터마크 패턴을 지원하기 위해, 200개의 색상 워터마크를 포함하는 새로운 대규모 데이터셋 CLWD를 구축하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 후처리 없이도 고품질의 워터마크 제거를 달성하면서도, 이미지에서 시각적 워터마크를 효과적으로 분해할 수 있는가?
• RQ2 미리 보지 않은 이미지에서 분리된 워터마크가 데이터 증강을 통해 모델의 일반화 능력을 향상시키는 데 효과적으로 재사용될 수 있는가?
• RQ3 먼저 워터마크를 국소화하고 나서 결과를 정밀화하는 두 단계 아키텍처가, 종단 간 이미지 간 번역 기반 접근 방식보다 워터마크 제거 성능에서 뛰어나게 되는가?
• RQ4 다양하고 색상 워터마크 패턴을 포함한 CLWD 데이터셋에서 훈련된 워터마크 제거 모델의 성능이, 회색조 전용 데이터셋(LVW)에서 훈련된 모델과 비교해 어떻게 다른가?
• RQ5 워터마크 분리 기능이 워터마크 제거 모델의 강건성과 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• WDNet는 LVW 및 CLWD 데이터셋에서 모두 최신 기술 수준의 성능을 달성하였으며, PSNR, SSIM, LPIPS와 같은 주요 지표에서 이전 방법들을 모두 능가하였다.
• 특히 교차 데이터셋 평가에서 뛰어난 일반화 능력을 보였으며, 다른 분포의 데이터(예: LVW → CLWD 및 CLWD → LVW)에서 테스트해도 강력한 성능 유지를 보였다.
• CLWD-60에서 분리된 워터마크를 사용하여 CLWD-100의 훈련 데이터를 증강한 결과 성능 향상이 눈에 띄게 나타났으며, 워터마크 분리 기반 데이터 증강의 효과를 확인하였다.
• WDNet는 대부분의 SOTA 방법보다 빠르며, Li 등 [16]의 방법을 제외하고는 추론 속도가 유일하게 빠르므로 정확도와 효율성 사이의 균형이 잘 맞아떨어졌다.
• LVW에 비해 CLWD는 더 다양하고 일반화된 워터마크 패턴을 포함하고 있으며, 이는 LVW에서 CLWD로의 전이 시 성능 격차가 더 크다는 점에서 입증되었다.
• 시각적 결과에서 WDNet는 정답 이미지와 가장 높은 구조 일致성을 유지하는 출력을 생성하였으며, 재사용 가능한 워터마크를 성공적으로 분리하였다.