[논문 리뷰] DVMark: A Deep Multiscale Framework for Video Watermarking

Xiyang Luo, Yinxiao Li외 4명|arXiv (Cornell University)|2021. 04. 26.

Advanced Steganography and Watermarking Techniques참고 문헌 6인용 수 10

한 줄 요약

DVMark는 다중 공간-시간 스케일을 통해 메시지를 임bed하는 엔드 투 엔드로 훈련 가능한 딥 멀티스케일 프레임워크를 제안한다. 이는 미분 가능한 왜곡 레이어와 비가역적인 비디오 압축(예: H.264)을 위한 미분 가능한 프록시를 사용한다. 다양한 왜곡에 대해 최신 기술 수준의 강건성을 확보하면서도 높은 인지 품질을 유지하고, 혼합 콘텐츠 영상에서 정밀한 워터마크 국소화를 가능하게 한다.

ABSTRACT

Video watermarking embeds a message into a cover video in an imperceptible manner, which can be retrieved even if the video undergoes certain modifications or distortions. Traditional watermarking methods are often manually designed for particular types of distortions and thus cannot simultaneously handle a broad spectrum of distortions. To this end, we propose a robust deep learning-based solution for video watermarking that is end-to-end trainable. Our model consists of a novel multiscale design where the watermarks are distributed across multiple spatial-temporal scales. It gains robustness against various distortions through a differentiable distortion layer, whereas non-differentiable distortions, such as popular video compression standards, are modeled by a differentiable proxy. Extensive evaluations on a wide variety of distortions show that our method outperforms traditional video watermarking methods as well as deep image watermarking models by a large margin. We further demonstrate the practicality of our method on a realistic video-editing application.

연구 동기 및 목표

• 특정 왜곡에 대해 수작업으로 설계된 전통적 비디오 워터마킹 기법의 한계를 해결하고, 광범위한 강건성을 확보하기 위해.
• 비디오 데이터의 시간적 및 공간적 상관관계를 완전히 활용하는 딥 러닝 기반 비디오 워터마킹 시스템을 개발하기 위해.
• H.264 압축과 같은 비가역적인 왜곡에도 불구하고 엔드 투 엔드 훈련을 가능하게 하기 위해, 가역적인 프록시를 사용하기 위해.
• 다양한 공간-시간 스케일에 걸쳐 워터마크를 분산 배치하여 강건성과 인지 품질을 향상시키기 위해.
• 혼합 콘텐츠 영상에서 워터마크가 포함된 콘텐츠의 정밀한 국소화를 가능하게 하기 위해 전용 워터마크 검출 헤드를 도입하기 위해.

제안 방법

• 에코더 네트워크는 다중 스케일 아키텍처를 사용하여 커버 영상에 이진 메시지를 임베딩한다. 이 아키텍처는 다양한 공간적 및 시간적 해상도에서 작동한다.
• 미분 가능한 왜곡 레이어는 훈련 중에 일반적인 비디오 왜곡(예: 프레임 손실, 자르기, 노이즈)을 시뮬레이션하여 강건성을 향상시킨다.
• 비가역적인 비디오 압축(예: H.264)을 모델링하기 위해 비가역적인 왜곡을 대체하는 미분 가능한 프록시를 사용한다. 이는 훈련 과정에서 엔드 투 엔드 역전파를 허용한다.
• 디코더 네트워크는 왜곡된 워터마크 영상에서 원래 메시지를 재구성한다. 공유 아키텍처를 통해 메시지 복원과 워터마크 검출을 모두 지원한다.
• 비디오 판별자(디스criminator)는 워터마크가 삽입된 영상와 원본 영상을 구분하도록 훈련되어, 인지 품질과 시간적 일관성을 향상시킨다.
• 디코더에 워터마크 검출 헤드를 추가하여 워터마크가 포함된 프레임을 식별할 수 있도록 하여, 혼합 콘텐츠 영상에서 정밀한 국소화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 비디오 워터마킹 시스템이 기존의 전통적 및 이미지 기반 방법에 비해 광범위한 왜곡에 대해 뛰어난 강건성을 확보할 수 있는가?
• RQ2 멀티스케일 설계가 비디오 워터마킹에서 강건성을 향상시키면서도 인지 품질을 유지하는 데 얼마나 효과적인가?
• RQ3 가역적인 프록시가 엔드 투 엔드 훈련 프레임워크 내에서 실제 비디오 압축(예: H.264)을 효과적으로 모델링할 수 있는가?
• RQ4 워터마크 검출기가 워터마크가 포함된 콘텐츠와 포함되지 않은 콘텐츠가 혼합된 영상에서 워터마크 세그먼트를 정확히 국소화할 수 있는가?
• RQ5 매우 극단적인 조건, 예를 들어 배경 영상에서 워터마크 콘텐츠 비율이 매우 낮은 경우(예: 0.5%의 픽셀)에도 시스템 성능은 어떻게 되는가?

주요 결과

• 128×128 영상에서 T=64일 때 DVMark는 복원 정확도 96.80%를 달성하며, 더 큰 864×480 영상에서 T=64일 때도 높은 정확도(97.19%)를 유지하여 해상도 및 길이에 대한 확장성을 입증한다.
• H.264, 자르기, 프레임 손실, 가우시안 노이즈 등 다양한 왜곡에 대해 DVMark는 T=64일 때 평균 복원 정확도 96.80%를 기록하며, 기존의 전통적 및 딥 러닝 기반 이미지 워터마킹 기준보다 뚜렷이 뛰어난 성능을 보인다.
• 워터마크 검출기는 다양한 왜곡 상황에서 평균 정확도 98.32%를 기록하며, H.264(94.27%), 프레임 손실(97.10%), 가우시안 블러(99.50%) 등에서도 높은 국소화 신뢰도를 입증한다.
• 16프레임의 워터마크 영상가 720프레임의 배경 영상에 삽입된 영상 편집 애플리케이션에서, 워터마크 검출기가 없을 경우 복원 정확도는 52.14%였지만, 검출기를 사용할 경우 90.02%로 향상되어 실용적 가치를 입증한다.
• 비디오 판별자와 시각적 검토를 통해 시스템은 높은 인지 품질을 유지하며, 인간 관찰자에게 워터마크 영상가 원본과 구분되지 않는다고 확인되었다.
• 영상 길이 및 해상도에 걸쳐 잘 일반화되며, T=8에서 T=64로 확장해도 성능 저하가 심각하게 발생하지 않아 강건성과 확장성의 우수함을 입증한다.