[論文レビュー] DeepPrivacy2: Towards Realistic Full-Body Anonymization

Håkon Hukkelås, Frank Lindseth|arXiv (Cornell University)|Nov 17, 2022

Face recognition and analysis被引用数 7

ひとこと要約

DeepPrivacy2は、新しい150万枚の画像から構成されるデータセット（FDH）とマルチモーダル検出を活用することで、顔のみの匿名化にとどまらない、リアルな全身匿名化を実現するGANベースのフレームワークを提案する。画像品質とプライバシーの保証を向上させるために、CSEガイドド型、アンコンディショナル型、顔固有のGANを用いた3ストリームの匿名化パイプラインを採用し、テキストガイドド編集が可能な編集可能な潜在空間の意味論を実現している。

ABSTRACT

Generative Adversarial Networks (GANs) are widely adapted for anonymization of human figures. However, current state-of-the-art limit anonymization to the task of face anonymization. In this paper, we propose a novel anonymization framework (DeepPrivacy2) for realistic anonymization of human figures and faces. We introduce a new large and diverse dataset for human figure synthesis, which significantly improves image quality and diversity of generated images. Furthermore, we propose a style-based GAN that produces high quality, diverse and editable anonymizations. We demonstrate that our full-body anonymization framework provides stronger privacy guarantees than previously proposed methods.

研究の動機と目的

• 顔のみの匿名化手法に起因する主な識別子（例：耳、歩き方、性別）が露出するという現行手法の限界を是正すること。
• 150万枚の人体画像から構成される大規模かつ多様なデータセット（FDH）を導入することで、全身匿名化における画像品質と多様性を向上させること。
• CSE（密なポーズ推定）の失敗を克服するため、複数の検出モダリティを組み合わせて、より堅牢で包括的な人体検出と匿名化を実現すること。
• スタイルベースのGANを用いて、潜在空間におけるテキストガイドド属性編集を可能にする、編集可能な高品質な匿名化を実現すること。
• 従来のぼかし処理や顔のみの匿名化手法よりも、全身を匿名化しつつ文脈的なリアリズムを保持することで、より強いプライバシー保護を提供すること。

提案手法

• フレームワークは、3つの異なるGANベースの匿名化器を採用している：CSEで検出可能な人物向け、CSEで検出不能な人物向け、および残りの顔向け。
• YFCC100Mから抽出し、信頼度閾値、解像度、グレースケール検出、NIMAベースの品質スコアリング、CSEの頂点数、およびMask R-CNNとCSEのセグメンテーション間のIoUを用いてフィルタリングした、新規の大規模データセット「Flickr Diverse Humans（FDH）」を構築した。
• CSEガイドドジェネレータは、SMPLベースのボディモデルからのピクセルから頂点への対応関係を活用し、密度の高い表面埋め込みを用いて匿名化をガイドする。
• アンコンディショナルな全身ジェネレータは、標準的なGANトレーニング手法を用いて、ポーズのガイドなしで多様で高品質な人体を合成する。
• 顔匿名化器は、更新されたFDF256データセットでトレーニングされ、ポーズのガイドなしで動作するため、検出が困難な状況下でも匿名化が可能である。
• スタイルベースのジェネレータは、潜在空間におけるグローバルで意味的な編集を可能にし、性別や髪の色といった属性のテキストガイドド操作をサポートする。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様なデータセットは、既存のデータセットと比較して、生成された全身匿名化画像の視覚的品質と多様性を顕著に向上させるか？
• RQ2 CSE、Mask R-CNN、DSFDといった複数の検出モダリティを組み合わせることで、匿名化のための人体検出の堅牢性と包括性が向上するか？
• RQ3 GANベースの匿名化フレームワークは、従来の最先端手法に比べて、全身匿名化においてより高い画像品質とより強いプライバシー保証を達成できるか？
• RQ4 提案されたGANの潜在空間は、匿名化されたアイデンティティに対して、どの程度意味的でテキストガイドドの編集を可能にするか？
• RQ5 Market1501における再識別タスクといった実世界のベンチマークで、提案フレームワークはどの程度の性能を示すか？

主な発見

• 150万枚の画像を含むFDHデータセットは、過去のデータセットと比較して、生成された匿名化された人体の視覚的品質と多様性を顕著に向上させた。
• マルチストリーム匿名化パイプラインは、定性的および定量的評価の両面で、従来の最先端手法を上回る画像品質とプライバシー保証を達成した。
• CSEが検出に失敗した場合でも、代替の検出モダリティとアンコンディショナルジェネレータを活用することで、人物の匿名化が成功した。
• スタイルベースのGANは、潜在空間におけるグローバルで意味的な方向性を用いて、性別や髪の色の変更といった、匿名化されたアイデンティティのテキストガイドド編集を可能にした。
• Market1501ベンチマークでは、匿名化画像が強い再識別失敗率を示し、強固なプライバシー保護を実証した。
• セグメンテーションと検出の正確性を向上させたことで、従来の全身GANで一般的に見られた視覚的アーティファクト（例：分離されていないアクセサリー、髪やアクセサリーの「着用」）を低減した。