[論文レビュー] RiDDLE: Reversible and Diversified De-identification with Latent Encryptor

Dongze Li, Wei Wang+3 more|ArXiv.org|Mar 9, 2023

Advanced Steganography and Watermarking Techniques被引用数 11

ひとこと要約

RiDDLE は StyleGAN2 潜在空間でパスワード条件付き潜在トランスフォーマを用いて顔アイデンティティを暗号化・復号し、多様で高品質な可逆的デ・アイデンティフィケーションを実現します。データフリー訓練と動画のデ・アイデンティフィケーションに対応します。

ABSTRACT

This work presents RiDDLE, short for Reversible and Diversified De-identification with Latent Encryptor, to protect the identity information of people from being misused. Built upon a pre-learned StyleGAN2 generator, RiDDLE manages to encrypt and decrypt the facial identity within the latent space. The design of RiDDLE has three appealing properties. First, the encryption process is cipher-guided and hence allows diverse anonymization using different passwords. Second, the true identity can only be decrypted with the correct password, otherwise the system will produce another de-identified face to maintain the privacy. Third, both encryption and decryption share an efficient implementation, benefiting from a carefully tailored lightweight encryptor. Comparisons with existing alternatives confirm that our approach accomplishes the de-identification task with better quality, higher diversity, and stronger reversibility. We further demonstrate the effectiveness of RiDDLE in anonymizing videos. Code and models will be made publicly available.

研究の動機と目的

• 写真/動画のアイデンティティ情報を保護しつつ、非特定化属性と画像の有用性を維持する。
• 同質的なデ・アイデンティフィケーションアーティファクトを避けるため、多様な匿名化されたアイデンティティを生成する。
• 正しいパスワードの下で元の顔の可逆的回復を可能にし、誤ったパスワードでは回復を拒否する。
• エンドツーエンド訓練のために、 StyleGAN2 潜在空間とトランスフォーマーベースの潜在暗号化器を活用する。
• 強いプライバシー保証を備えた画像および動画データでの有効性を実証する。

提案手法

• 事前学習済みのインバージョンエンコーダを介して顔画像を StyleGAN2 潜在空間へ射影する。
• クロスアテンションを用いて潜在コードとパスワード潜在を融合させ、暗号化コードを生成するトランスフォーマーベースの潜在暗号化器を使用する。
• アイデンティティ多様性（L_div）、デ・アイデンティフィケーション（L_deid）、アイデンティティ回復（L_rec）を促進する損失と、ピクセル/知覚/パース/潜在正則化項を用いて訓練する。
• 暗号化出力と誤って復号された出力を含むすべてのアイデンティティ特徴の類似性を最小化することで多様性を強制する。
• 実データが利用できない場合にはランダムな StyleGAN 潜在を用いてデータフリー訓練を提供する。
• パスワード条件付きの多様性と品質管理を伴う画像および動画でのデ・アイデンティフィケーションと回復を実証する。

実験結果

リサーチクエスチョン

• RQ1 RiDDLE は異なるパスワードに条件付けられた、複数の多様で高品質なデ・アイデンティファイド顔を生成できますか？
• RQ2 正しいパスワードのときだけ真のアイデンティティを回復可能で、誤ったパスワードは別の信頼できるデ・アイデンティフィケイト顔を生み出しますか？
• RQ3 潜在空間暗号化は非アイデンティティ属性（姿勢、表情、テクスチャ）を保持し、動画のデ・アイデンティフィケーションをサポートしますか？
• RQ4 RiDDLE は既存のデ・アイデンティフィケーション手法と比較して、プライバシー（識別率）と有用性（画像/動画の品質）の点でどうですか？

主な発見

表/指標	手法	FaceNet CASIA	FaceNet VGGFace2	SphereFace
De-id ↓	Ours	0.016	0.032	0.025
De-id ↓	Ours-DF	0.034	0.037	0.025
De-id ↓	CIAGAN [17]	0.019	0.034	0.010
De-id ↓	FIT [7]	0.042	0.072	0.065
De-id ↓	Personal [4]	0.020	0.042	0.017
Recovery ↑	Ours	0.996	0.998	1.000
Recovery ↑	Ours-DF	0.953	0.949	1.000
Recovery ↑	CIAGAN [17]	0.967	0.974	1.000
Recovery ↑	FIT [7]	0.967	0.974	1.000
Recovery ↑	Personal [4]	0.965	0.965	0.998

• RiDDLE はベースラインと比較して、複数のバックボーン（例：FaceNet CASIA/VGGFace2、SphereFace）で低いデ・アイデンティフィケーション率と高い回復率を達成します。
• データフリー訓練は、画像品質のわずかな劣化を伴いながらも実行可能で、デ・アイデンティフィケーション性能は保持されます。
• RiDDLE は従来法（CIAGAN、FIT、DeepPrivacy、Personal など）よりも高品質で多様なデ・アイデンティファイド顔を生成します。
• アイデンティティの多様性は、定性的・定量的分析（FID、検出/ランドマークの有用性、アイデンティティ埋め込みの t-SNE）を通じて示され、暗号化された顔は広いアイデンティティ空間を占めます。
• パスワード補間は滑らかなアイデンティティ遷移をもたらし、他の属性を犠牲にせずアイデンティティ空間の連続的制御を検証します。
• RiDDLE はフレーム単位の潜在暗号化と再構成を適用することで動画のデ・アイデンティフィケーションをサポートします。