[논문 리뷰] Robust Invisible Video Watermarking with Attention

Kevin Alex Zhang, Lei Xu외 2명|arXiv (Cornell University)|2019. 09. 03.

Advanced Steganography and Watermarking Techniques참고 문헌 30인용 수 34

한 줄 요약

요약: 두 적대자(비평가와 공격자)를 활용한 주의 기반 심층 학습 프레임워크 RivaGAN을 제안하여 충실도와 워터마크 강건성을 최적화하고, 이중 방식으로 가시화하지 않는 비디오 워터마킹을 달성합니다. 32-bit 워터마크에 대해 상태-최첨단 결과를 달성하며 잘라내기, 스케일링, 압축에 강한 저항성을 보여줍니다.

ABSTRACT

The goal of video watermarking is to embed a message within a video file in a way such that it minimally impacts the viewing experience but can be recovered even if the video is redistributed and modified, allowing media producers to assert ownership over their content. This paper presents RivaGAN, a novel architecture for robust video watermarking which features a custom attention-based mechanism for embedding arbitrary data as well as two independent adversarial networks which critique the video quality and optimize for robustness. Using this technique, we are able to achieve state-of-the-art results in deep learning-based video watermarking and produce watermarked videos which have minimal visual distortion and are robust against common video processing operations.

연구 동기 및 목표

• 일반적인 비디오 처리 연산 후에도 탐지가 남는 강인하고 가시적이지 않은 비디오 워터마킹을 동기화합니다.
• 최소한의 시각적 왜곡으로 다중 비트 워터마크를 삽입하고 해독하는 심층 학습 아키텍처를 개발합니다.
• 데이터 비트를 비디오 콘텐츠에 강건하게 매핑하기 위한 주의 기반 메커니즘을 도입합니다.
• 워터마크 강건성과 비디오 리얼리즘을 개선하기 위해 비평가(critic)와 공격자(adversary)의 적대적 학습을 활용합니다.
• 해석 가능한 해독 정확도와 시각적 품질 측면에서 벤치마크 비디오에서 성능을 평가합니다.

제안 방법

• 삽입 가이드를 위해 픽셀 단위 데이터 차원 분포를 학습하는 주의 모듈(주 의 마스크)을 도입합니다.
• 주의 마스크와 잔차 섭동을 제한 범위(-0.01, +0.01) 내에서 사용하는 인코더를 통해 고정 길이의 데이터 벡터를 비디오에 삽입합니다.
• 원본 비디오가 필요 없는 워터마크 해독을 수행하는 주의 풀링(attention pooling)을 하는 디코더를 사용합니다.
• 현실적인 워터마크된 비디오를 촉진하기 위해 비평가를 포함하고 워터마크 제거 공격을 시뮬레이션하는 공격자를 포함합니다.
• 일반적인 비디오 변환에 대한 강건성을 높이기 위해 스케일링, 자르기, DCT 기반 압축 등의 미분 가능한 노이즈 층을 적용합니다.
• 데이터 복구를 위한 교차 엔트로피, 비평가의 리얼리즘, Wasserstein 용어로 강화된 적대적 탄력성 등을 포함하는 공동 손실을 최적화합니다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 워터마킹 시스템이 일반적인 처리(스케일링, 크롭, 압축) 후에도 워터마크 비디오에서 32/64-bit 페이로드를 안정적으로 복구할 수 있는가?
• RQ2 주의 기반 삽입 전략이 연결 기반 데이터 삽입에 비해 은닉성 및 강건성을 개선하는가?
• RQ3 적대적 구성요소(비평가와 공격자)가 해독 정확도를 손상시키지 않으면서 비디오 리얼리즘과 워터마크 강건성을 함께 향상시킬 수 있는가?
• RQ4 워터마크 탐지가 진정으로 블라인드(blind)한가, 즉 디코더가 원본 비디오에 접근하지 않고 데이터를 복구할 수 있는가?
• RQ5 해밍-벡터 쌍으로의 훈련이 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• 주의 기반 삽입이 감소, 스케일링 및 압축에 대한 강건성에서 연결 기반 방법보다 우수합니다.
• 워터마크된 비디오가 PSNR 약 42 dB 및 SSIM 약 0.95–0.96의 높은 시각적 품질을 구성에 따라 유지합니다.
• 노이즈 강건 훈련을 사용할 경우 32-bit 워터마크 해독 정확도가 자르기/스케일링 후 거의 99%에 근접합니다.
• 강건성 향상 없이도 기본 주의 모델은 비주 의성 variants를 능가하며, 비평가/공격자 모듈의 추가가(resilience를) 향상시킵니다(MJPEG, 잘름, 스케일링).
• Mechanical Turk의 인간 평가자들은 워터마크 비디오를 신뢰성 있게 식별하지 못했고 탐지율은 무작위 추측에 가깝게(약 0.51)이며 비평가를 사용할 때 약간 감소했습니다.
• 모델은 픽셀 단위의 해석 가능한 주의 마스크와 서로 다른 비트에 대한 뚜렷한 거리 마스크를 보여 콘텐츠 조건화된 비트 할당을 지지합니다.