[論文レビュー] Privacy-Protective-GAN for Face De-identification

Yifan Wu, Fan Yang+1 more|arXiv (Cornell University)|Jun 23, 2018

Face recognition and analysis参考文献 21被引用数 44

ひとこと要約

本論文は Privacy-Protective-GAN (PP-GAN) を提案する。これは顔の同定情報を除去しつつ、検証子（対照的損失）とレギュレータ（SSIM）を用いて構造と視覚的有用性を保つGANベースの顔の非識別化フレームワークである。MORPHデータにおいて強いプライバシー保護、可用性の維持、および高い視覚的類似性を報告している。

ABSTRACT

Face de-identification has become increasingly important as the image sources are explosively growing and easily accessible. The advance of new face recognition techniques also arises people's concern regarding the privacy leakage. The mainstream pipelines of face de-identification are mostly based on the k-same framework, which bears critiques of low effectiveness and poor visual quality. In this paper, we propose a new framework called Privacy-Protective-GAN (PP-GAN) that adapts GAN with novel verificator and regulator modules specially designed for the face de-identification problem to ensure generating de-identified output with retained structure similarity according to a single input. We evaluate the proposed approach in terms of privacy protection, utility preservation, and structure similarity. Our approach not only outperforms existing face de-identification techniques but also provides a practical framework of adapting GAN with priors of domain knowledge.

研究の動機と目的

• 画像が急増し、顔認識がより高度になる中で、プライバシー保護された顔分析を動機付ける。
• 識別情報の除去と構造的/視覚的有用性のバランスを取る GAN ベースの非識別化フレームワークを開発する。
• GAN訓練に識別の事前情報（verificator）と構造情報（SSIMレギュレータ）を組み込む。
• 個々のプローブ顔に対して非識別化出力を生成できるエンドツーエンドの訓練可能なアーキテクチャを提供する。
• プライバシー（検証）と有用性（検出とSSIM）を組み合わせた体系的な評価指標を提案する。

提案手法

• 生成器（U-Net）、識別器、 verificator（対照的損失）、および regulator（SSIM）の4つの要素からなるPP-GANを提案する。
• 条件付きGANを3つの損失項で訓練する：cGAN損失、検証損失、およびSSIM損失。
• verificator（Siamese対照的損失を用いたLight CNN-9）を事前訓練し、PP-GAN訓練時には凍結する。
• 構造保存損失としてSSIMを用い、輝度、コントラスト、構造的類似性を促進する一方で、verificatorが識別の分離を強制する。
• L_face = L_cGAN + lambda1 * L_verif + lambda2 * L_sim による結合損失を用い、min-max (G,D)フレームワークで生成器を最適化する。）

実験結果

リサーチクエスチョン

• RQ1 GANベースの非識識化手法は、画像の構造と有用性を保ちつつ生体識別情報を効果的に除去できるか。
• RQ2 verificatorとSSIMベースのレギュレータを統合することで、視覚的品質を損なうことなくプライバシー保護が向上するか。
• RQ3 多様な人口統計グループにおけるPP-GANでの識別情報除去と構造的類似性とのトレードオフはどうなるか。
• RQ4 標準のプライバシーと有用性指標において、PP-GANは既存の非識別化手法と比較してどの程度の性能か。

主な発見

• PP-GANは、元画像と非識別化画像間の検証を妨げることで強力なプライバシー保護を達成する。
• 本手法はデータ有用性を維持し、非識別化後も顔らしい品質と検出器の実用性を保持する。
• verificatorとSSIMレギュレータの両方を組み込むと、どちらか一方を用いる場合よりも識別情報除去と視覚的類似性のバランスが良くなる。
• MORPHでの定量的評価は、性別/人種グループを横断して構造と有用性を保ちつつ高い非識別化性能を示す。
• このフレームワークは、事前訓練済みのverifierと顔検出器を組み合わせた体系的な評価計画を導入し、非識別化率と有用性を評価する。
• このアプローチは、非識別化の効果と視覚的品質の点で従来のk-sameおよびGANベース手法を上回る。