[論文レビュー] A Hybrid Model for Identity Obfuscation by Face Replacement

Qianru Sun, Ayush Tewari+4 more|arXiv (Cornell University)|Apr 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 6

ひとこと要約

本論文では、パラメトリックな顔モデリングとGANベースの画像生成を組み合わせたハイブリッドなアイデンティティの隠蔽手法を提案する。この手法は、元の顔の表情やポーズを保ちつつ、画像内の顔を異なるアイデンティティに置き換えることを可能にする。本手法は最先端の性能を達成し、機械による識別率を18.1%まで低下させつつ、高い画像のリアルさ（HPS 0.33）を維持している。これは、プライバシー保護と視覚的品質の両面で、従来手法を顕著に上回っている。

ABSTRACT

As more and more personal photos are shared and tagged in social media, avoiding privacy risks such as unintended recognition becomes increasingly challenging. We propose a new hybrid approach to obfuscate identities in photos by head replacement. Our approach combines state of the art parametric face synthesis with latest advances in Generative Adversarial Networks (GAN) for data-driven image synthesis. On the one hand, the parametric part of our method gives us control over the facial parameters and allows for explicit manipulation of the identity. On the other hand, the data-driven aspects allow for adding fine details and overall realism as well as seamless blending into the scene context. In our experiments, we show highly realistic output of our system that improves over the previous state of the art in obfuscation rate while preserving a higher similarity to the original image content.

研究の動機と目的

• ソーシャルメディアでの個人写真の広範な共有に伴う増大するプライバシーの脅威に対処すること。
• 不自然なアーティファクト、低品質、制御不能さといった、既存の隠蔽技術の限界を克服すること。
• 機械認識システムと人間の観察者の両方からアイデンティティを効果的に隠蔽しつつ、写真並みのリアルさを維持する手法を開発すること。
• 制御性の高いパラメトリック顔モデルと、データ駆動型のGANのリアルさを組み合わせ、より優れた隠蔽を実現すること。

提案手法

• 本手法は、元の人物の表情とポーズを再現するパラメトリック3次元顔モデルを用いて、新しいアイデンティティの顔を再構築・レンダリングする。
• 元の顔領域を、パrameterの操作により顔の属性を保持したまま、別のアイデンティティのレンダリング顔に置き換える。
• 条件付きGANを訓練し、レンダリングされた顔と隠蔽された文脈を入力として、頭部全体（髪の毛や細部を含む）を補完・合成する。
• GAN段階では、写真並みの詳細を追加し、シーンの文脈に自然に溶け込むようにすることで、目立つアーティファクトを低減する。
• エンドツーエンドで訓練され、GANはグローバルなシーン文脈に基づいてレンダリング顔を精錬する。
• HPS（知覚的画像品質）や機械・人間の識別者における認識率といった指標を用いて、システムを評価する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック顔モデリングとGANベースの合成をハイブリッドに組み合わせることで、純粋にデータ駆動型またはモデル駆動型の手法に比べ、より優れたアイデンティティの隠蔽が達成可能か？
• RQ2 明示的なアイデンティティ制御とデータ駆動型のリアルさの組み合わせが、プライバシー保護と画像品質のバランスに与える影響はいかほどか？
• RQ3 顔および髪の毛領域への変更が、認識率と視覚的リアルさにどの程度の影響を及ぼすか？
• RQ4 本手法は、機械認識システムと人間の観察者を同時に混乱させることができるか？
• RQ5 異なる入力モodal（例：ぼやけた、黒塗り、元の画像）において、画像品質と隠蔽効果の最適なトレードオフは何か？

主な発見

• 提案手法はテストセットにおいて機械認識率を18.1%まで低下させ、従来のSOTA手法よりも顕著に低い水準にまで抑えた。
• 本手法は高い画像品質を維持しており、類似したプライバシー制約下で0.33のHPSスコアを達成した。これは、類似条件で0.15のHPSを記録した従来のSOTA手法に比べ、顕著に優れている。
• 遠く離れた人物のアイデンティティ（Replacer15）の顔に置き換えることで、類似したアイデンティティを使用した場合と比較し、人間の認識性能を25.1%まで低下させた。
• 髪の毛領域をぼやかすことで、認識率は25.8%まで低下した。これは、髪の毛や周囲の頭部領域が顕著なアイデンティティ情報を保持していることを示している。
• 本手法は、隠蔽効果と視覚的リアルさの両面でベースラインを上回っており、特に「黒塗りの顔と髪 + Replacer15」の設定で最良のトレードオフが得られた。
• 散布図分析により、ユーザーが所望するプライバシーの閾値と品質制約に基づいて最適な設定を選択可能であることが確認された。