[論文レビュー] FICGAN: Facial Identity Controllable GAN for De-identification

Yonghyun Jeong, Jooyoung Choi+6 more|arXiv (Cornell University)|Oct 2, 2021

Face recognition and analysis参考文献 38被引用数 8

ひとこと要約

FICGANは、空間的コードと対照的損失を用いてアイデンティティと非アイデンティティ属性を分離する条件付きGANベースの顔脱識別モデルであり、ポーズ、表情、照明の制御可能な保持を伴い、高精細でk匿名性を満たす顔画像を生成する。プライバシー保護と属性忠実度の両面で最先端の性能を達成し、FIDおよび属性保持メトリクスにおいて先行手法を上回る。

ABSTRACT

In this work, we present Facial Identity Controllable GAN (FICGAN) for not only generating high-quality de-identified face images with ensured privacy protection, but also detailed controllability on attribute preservation for enhanced data utility. We tackle the less-explored yet desired functionality in face de-identification based on the two factors. First, we focus on the challenging issue to obtain a high level of privacy protection in the de-identification task while uncompromising the image quality. Second, we analyze the facial attributes related to identity and non-identity and explore the trade-off between the degree of face de-identification and preservation of the source attributes for enhanced data utility. Based on the analysis, we develop Facial Identity Controllable GAN (FICGAN), an autoencoder-based conditional generative model that learns to disentangle the identity attributes from non-identity attributes on a face image. By applying the manifold k-same algorithm to satisfy k-anonymity for strengthened security, our method achieves enhanced privacy protection in de-identified face images. Numerous experiments demonstrate that our model outperforms others in various scenarios of face de-identification.

研究の動機と目的

• 顔脱識別における強力なプライバシー保護と高いデータ有用性の間のトレードオフを解消すること。
• 脱識別化中にどの顔の属性（例：ポーズ、表情）を保持するかを細かく制御できること。
• 潜在空間にk-sameアルゴリズムを適用することで、耐障害性のあるプライバシー保護を実現するk匿名性を達成すること。
• 画像品質の低下やアイデンティティの漏洩を引き起こす顔交換や平均化手法の限界を克服すること。
• アイデンティティに支配的な特徴を隠蔽しながら、非アイデンティティ属性を保持する分離された生成モデルを開発すること。

提案手法

• ソース画像の特徴を分離生成可能にするために、空間的コード $z_s$ を用いたオートエンコーダー型の条件付きGANを採用する。
• 潜在空間におけるアイデンティティ分離を強化するために、$\mathcal{L}_{\text{pos}}$ および $\mathcal{L}_{\text{neg}}$ を用いた対照的学習を適用する。
• 多様体 $k$-sameアルゴリズムを用いて潜在空間で $k$ 個の顔埋め込みを混合し、$k$-匿名性を達成する。
• 階層的生成器を統合することで、脱識別化の強度および属性保持の細かいつながりを制御可能にする。
• アイデンティティと非アイデンティティ属性の分離を活用し、アイデンティティの隠蔽と属性の保持を分離する。
• リアルさとプライバシーの両立最適化のため、FIDおよびID類似度メトリクスを用いる。

実験結果

リサーチクエスチョン

• RQ1 ポーズ、表情、照明などの非アイデンティティ属性を保持しつつ、顔のアイデンティティを効果的に脱識別化する方法は何か？
• RQ2 画像品質を損なわずに、顔脱識別においてどの程度k匿名性を達成できるか？
• RQ3 GANベースの脱識別化において、アイデンティティの隠蔽と属性保持の最適なトレードオフは何か？
• RQ4 対照的学習は、顔生成におけるアイデンティティと非アイデンティティ属性の分離を改善できるか？
• RQ5 空間的コード $z_s$ は、脱識別化中にソース属性をどの程度保持に寄与しているか？

主な発見

• FICGANは、比較手法の中で最小のFréchet Inception Distance（FID）85.44を達成し、優れた画像品質とリアルさを示している。
• k匿名性を適用した場合でも、ID類似度が0.091と低く保たれ、IDDisを上回るプライバシー保護性能を示しながら、より多くの属性を保持している。
• アブレーションスタディの結果、$\mathcal{L}_{\text{neg}}$ を削除するとID類似度が0.312に上昇し、分離品質が低下することが示された。
• 空間的コード $z_s$ を欠如させると、属性保持が著しく低下し、74.49のアトリビューションスコアに低下する一方、完全モデルでは81.35を記録した。
• 多様なテストセットにおいても、頭部ポーズ、表情、肌の色、ヘアスタイルが、k匿名性制約下でも成功裏に保持された。
• FIDおよび属性忠実度の両面で、APFDおよびFSGAN+$k$-sameを上回り、他の手法とは異なりk匿名性下でも安定した性能を示した。