[論文レビュー] Temporally coherent video anonymization through GAN inpainting

Thangapavithraa Balaji, Patrick Blies+4 more|arXiv (Cornell University)|Jun 4, 2021

Digital Media Forensic Detection参考文献 38被引用数 4

ひとこと要約

本稿では、検出された顔を人工的に生成された同一アイデンティティの顔に置き換えることで、時間的に整合性のある動画顔匿名化を実現する2段階のGANベース手法JaGANを提案する。新規の動画データセットとアイデンティティ不変性（IdI）スコアを活用することで、顔検出なしの顔補間において、フレームごとの顔補間によるちらつきやアイデンティティの不一致を著しく軽減し、最先端のFIDスコア1.97を達成した。

ABSTRACT

This work tackles the problem of temporally coherent face anonymization in natural video streams.We propose JaGAN, a two-stage system starting with detecting and masking out faces with black image patches in all individual frames of the video. The second stage leverages a privacy-preserving Video Generative Adversarial Network designed to inpaint the missing image patches with artificially generated faces. Our initial experiments reveal that image based generative models are not capable of inpainting patches showing temporal coherent appearance across neighboring video frames. To address this issue we introduce a newly curated video collection, which is made publicly available for the research community along with this paper. We also introduce the Identity Invariance Score IdI as a means to quantify temporal coherency between neighboring frames.

研究の動機と目的

• フレーム単位の顔補間によって引き起こされるちらつきやアイデンティティの不一致を解消する、時間的に整合性のある動画匿名化手法の開発。
• 顔のランドマークに依存せず、リアルで一貫性のある顔を生成するプライバシー保護型動画GANの開発。
• 生成された顔の時間的整合性を定量的に測定するための新たな評価指標、アイデンティティ不変性（IdI）スコアの導入。
• 40万個の30フレームの動画シーケンスを含む大規模で公開可能な動画データセットの公開。

提案手法

• 顔検出器を用いて各動画フレームの顔を検出し、黒いパッチにマスクする。
• 時間的整合性を保つように、合成顔でマスク領域を補間するための動画固有のGANを訓練する。
• 生成器はマスク入力を条件として、隣接フレーム間の整合性を強制するための空間時間的 adversarial loss を使用する。
• IdIスコアは、連続フレームのFaceNet埋め込み間のL2距離を、自然な動きを反映するための実フレーム距離で正規化することで算出される。
• 40万個のYouTubeベースの動画シーケンスから構成される新規に収集されたデータセット上でモデルを訓練および評価する。すべてのデータはクリエイティブ・コモンズライセンス下にあり。
• 顔のランドマークを一切使用しないため、元の顔の特徴や幾何学的構造を保持せず、プライバシーを保護する。

実験結果

リサーチクエスチョン

• RQ1 顔ランドマークに依存せず、動画シーケンス全体で時間的に整合性のある顔を生成できるGANベースの動画補間モデルは構築可能か？
• RQ2 人間の知覚と相関する時間的整合性を、生成された顔に対して定量的に測定する方法は何か？
• RQ3 顔ベースのGANは、顔匿名化動画シーケンスにおけるアイデンティティ不変性と視覚的品質の面で、画像ベースのGANを上回るか？
• RQ4 提案されたIdIスコアは、生成された動画フレームにおける知覚的時間的整合性とどの程度相関するか？

主な発見

• 提案されたJaGANモデルは、顔ランドマークなしの顔補間において、FDF検証セットで最先端のFIDスコア1.97を達成し、前回のSOTA（3.36）を上回った。
• 動画ベースのモデルはフレーム間のアイデンティティのずれを軽減し、IdIスコアが0.48を達成した。これは画像ベースモデルの0.42を上回る。
• 動画モデルはFVDスコアが110の画像モデルと比較して59に低下し、より優れた知覚的品質と時間的整合性を示した。
• IdIスコアは時間的整合性を効果的に定量化しており、実際の顔ではIdIが1.00を示し、動画モデルは画像モデル比で48%のアイデンティティ安定性の向上を示した。
• 40万個の動画シーケンスから構成される新規に公開されたデータセットは、顔匿名化モデルの学習と評価のための多様で公開可能なベンチマークを提供する。
• 視覚的検査により、動画モデルは画像ベースのベースラインに見られるちらつきや歪みを解消し、より自然で一貫性のある顔生成を実現していることが確認された。