[論文レビュー] CFA-Net: Controllable Face Anonymization Network with Identity Representation Manipulation

Tianxiang Ma, Dongze Li+2 more|arXiv (Cornell University)|May 24, 2021

Face recognition and analysis参考文献 43被引用数 11

ひとこと要約

CFA-Net は、識別子とは相関のない属性から識別子を分離するための分離表現空間を用いて、識別子ベクトルの操作によって柔軟かつ正確な顔の匿名化を実現する制御可能な顔匿名化フレームワークを提案する。本手法は、匿名化効果、画像品質、制御性の面で最先端の性能を達成し、CelebA-HQ で FID 2.193、匿名化成功率 98.8% を達成した。

ABSTRACT

De-identification of face data has drawn increasing attention in recent years. It is important to protect people's identities meanwhile keeping the utility of the data in many computer vision tasks. We propose a Controllable Face Anonymization Network (CFA-Net), a novel approach that can anonymize the identity of given faces in images and videos, based on a generator that can disentangle face identity from other image contents. We reach the goal of controllable face anonymization through manipulating identity vectors in the generator's identity representation space. Various anonymized faces deriving from an original face can be generated through our method and maintain high similarity to the original image contents. Quantitative and qualitative results demonstrate our method's superiority over literature models on visual quality and anonymization validity.

研究の動機と目的

• 既存の顔匿名化手法に見られる制御性の欠如、特に固定または低品質な出力を生じる問題に対処すること。
• ポーズ、表情、ヘアスタイルなどの識別子とは相関のない属性を効果的に保持しながら、識別子特徴を匿名化すること。
• データベース内の他の人物の識別情報が漏洩しないようにすること。
• ユーザーが調整可能なレベルの識別子変更が可能な柔軟な匿名化を可能にすること。
• トレーニング段階と匿名化段階を分離し、参照顔や追加の教師信号に依存しないこと。

提案手法

• 本手法は、識別子とコンテンツが敵対的訓練によって分離された、識別子表現空間を備えたジェネレータを採用する。
• 識別子の分離は、識別子固有およびコンテンツ固有のエンコーダを備えた二重ブランチネットワークを用い、識別子再構成損失およびコンテンツ再構成損失を用いて訓練することで達成される。
• 匿名化は、分離表現空間において元の識別子ベクトルをサンプリング・変更することで実施され、コンテンツベクトルは固定されたままにされる。
• モデルは、元の顔のテクスチャ、色、構造的詳細を保持するためのコンテンツ一貫性損失を用いる。
• 識別子表現が意味的に意味のあるものであり、匿名化に操作可能であることを保証するため、識別子損失が適用される。
• フレームワークは大規模な顔データセット上でエンドツーエンドに訓練され、参照画像が不要なゼロショット匿名化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 分離表現空間における識別子ベクトルの直接操作によって、顔匿名化を制御可能にすることができるか？
• RQ2 匿名化中にポーズや表情などの識別子とは相関のない属性は、どの程度保持されるか？
• RQ3 本手法は、先行研究と比較して匿名化成功率および画像品質指標でどのように優れているか？
• RQ4 コンテンツ損失および識別子損失といった主要な損失関数が、匿名化の品質および効果に与える影響は何か？
• RQ5 時間的整合性を維持しながら、動画シーケンスに対しても本手法が効果的に適用可能か？

主な発見

• CFA-Net は CelebA-HQ で FID 2.193 を達成し、先行手法（例：Maximov らの 2.663）を顕著に上回った。
• 本手法は LPIPS スコア 0.177 を達成し、元の画像との高 perceptual 相似度を示した（先行研究では 0.221）。
• CFA-Net は匿名化成功率 98.8% を達成し、コンテンツ損失なしのアブレーションでは 93.7%、識別子損失なしでは 0.4% を上回った。
• 顔領域内では SSIM（0.865）および PSNR（21.26）が高く維持されており、構造的およびピクセルレベルの忠実度が強いことが示された。
• 複数の顔検出器（MTCNN：92.0%、Dlib：95.9%、SSH：100%）においても顔検出率が高く維持されており、下流タスクへの有用性が確認された。
• アブレーションスタディにより、コンテンツ損失および識別子損失の両方が不可欠であることが確認された。両方の損失を除去すると、画像品質の著しい劣化や匿名化失敗が生じた。