[論文レビュー] Robust Watermarking for Video Forgery Detection with Improved Imperceptibility and Robustness

Yangming Zhou, Qichao Ying+4 more|arXiv (Cornell University)|Jul 7, 2022

Digital Media Forensic Detection被引用数 4

ひとこと要約

本稿では、非可視的なウェアラブルマークを統合的に埋め込み、耐性のある改ざん領域の局所化を可能にするエンドツーエンドの3D-UNetベースの動画ウェアラブルマークイン作成フレームワークRWVFDを提案する。JPEGやぼかしといった複数の歪みを統合して動画圧縮や後処理攻撃をシミュレートすることで、高い非可視性（PSNR: 37.78 dB、SSIM: 0.987）と強力な耐性を達成し、H.264圧縮やフレーム操作の下でも、受動的フォレンジック手法を上回る性能を発揮する。

ABSTRACT

Videos are prone to tampering attacks that alter the meaning and deceive the audience. Previous video forgery detection schemes find tiny clues to locate the tampered areas. However, attackers can successfully evade supervision by destroying such clues using video compression or blurring. This paper proposes a video watermarking network for tampering localization. We jointly train a 3D-UNet-based watermark embedding network and a decoder that predicts the tampering mask. The perturbation made by watermark embedding is close to imperceptible. Considering that there is no off-the-shelf differentiable video codec simulator, we propose to mimic video compression by ensembling simulation results of other typical attacks, e.g., JPEG compression and blurring, as an approximation. Experimental results demonstrate that our method generates watermarked videos with good imperceptibility and robustly and accurately locates tampered areas within the attacked version.

研究の動機と目的

• H.264圧縮などの後処理攻撃によって従来のフォレンジック手がかりが破壊される現実世界のシナリオにおいて、動画改ざんを検出する課題に対処すること。
• 激しい動画処理が施された後でも、改ざん領域を正確に局所化できる動画ウェアラブルマークインシステムを開発すること。
• 微分可能でない動画コーデックを用いずに、組み合わせた攻撃を代理として用いることで、コーデック歪みをシミュレートし、一般的な動画攻撃に対する耐性を向上させること。
• SNSでの公開に適した視覚的品質を損なわずに、ウェアラブルマークを埋め込んだ動画における高い非可視性を達成すること。
• 改ざん検出と局所化を可能にする検出可能な信号を動画に埋め込む、能動的フォレンジックソリューションを提供すること。

提案手法

• 時間的・空間的整合性を保証するように、3D-UNetベースのエンコーダーを用いて、動画フレームにスパatiotemporalにウェアラブルマークを埋め込む。
• 水色化された動画から改ざんマスクを予測するデコーダーネットワークをエンドツーエンドで訓練し、改ざん領域の局所化を可能にする。
• JPEG圧縮やぼかしなどの典型的な動画歪みを統合する独自の攻撃シミュレーションレイヤーを設計し、実際の動画コーデック効果を近似する。
• 敵対的訓練中にシミュレートされた攻撃レイヤーを用いることで、一般的な後処理攻撃に対するウェアラブルマークの耐性を向上させる。
• PSNR/SSIMによるウェアラブルマークの非可視性と改ざん局所化精度をバランスさせる損失関数を用いて、システム全体を同時に訓練する。
• 微分可能でない動画コーデックの欠如を補うために、既知の非微分可能歪みの組み合わせによってその挙動を近似する。

Figure 1: Sketch of the pipeline of RWVMD. A 3D-UNet based encoder is used to embed the watermark information into the video. Video processing attacks in social media are simulated by the attack layer. Finally, the decoder predicts the tampering mask from the watermarked video.

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのウェアラブルマークインシステムは、現実世界の動画圧縮および後処理攻撃に対して、高い非可視性を維持しながら耐性を発揮できるか？
• RQ2 JPEGやぼかしなどの統合攻撃シミュレーションは、敵対的訓練における実際の動画コーデック挙動をどれほど正確に近似できるか？
• RQ3 提案されたウェアラブルマークインフレームワークは、動画圧縮およびフレーム操作の下でも、受動的フォレンジック手法を上回って改ざん領域を検出できるか？
• RQ4 2Dベースのウェアラブルマークインと比較して、3D-UNetアーキテクチャは、空間的・時間的整合性および耐性をどの程度向上させるか？
• RQ5 専用のコーデックシミュレータの導入は、H.264圧縮下での改ざん領域の局所化精度を顕著に向上させるか？

主な発見

• 提案されたRWVFDフレームワークは、YouTube-VOSデータセット上で平均PSNR 37.78 dB、SSIM 0.987の高い非可視性を達成した。
• H.264圧縮（CRF=29）下でも、改ざん局所化のF1スコアが0.87を維持し、高圧縮下でも強力な耐性を示した。
• アブレーションスタディにより、3D-UNetを除去するとコーデック攻撃下で性能が著しく低下し、CRF=29でF1スコアが0.56に低下することが確認された。
• コーデックシミュレータは不可欠である：これを除去するとCRF=23でF1スコアが0.80に低下し、圧縮に対する耐性を確保する上でその必要性が示された。
• MVSSやXceptionといった受動的フォレンジック手法は、分布シフトのためコーデック攻撃下で改ざん領域を検出できなかったが、RWVFDはそれらを上回る性能を発揮した。
• フレーム削除やフレームレート変更攻撃においても、高精度（F1スコア ≥ 0.95）と高再現率を達成し、時間的改ざんに対して耐性があることが示された。

Figure 2: Architectures of the encoder and decoder, which are based on the 3D-Unet [ 15 ] .