[論文レビュー] Latent Diffusion Models for Attribute-Preserving Image Anonymization

Luca Piano, Pietro Basci+2 more|arXiv (Cornell University)|Mar 21, 2024

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、顔、身体、背景を匿名化しながらも意味的コンテンツを保持する、初めての潜在拡散モデル（LDM）ベースの属性保持型画像匿名化フレームワークであるCAMOUFLaGEを紹介する。CAMOUFLaGE-BaseではControlNetsと独自の匿名化ガイドランスメカニズムを活用し、CAMOUFLaGE-Lightでは軽量なIP-Adapterを用いることで、最小限の忠実度損失で優れた本人特定防止性能を達成し、FID、Visual DNA、下流タスクの精度において最先端手法を上回る性能を発揮する。

ABSTRACT

Generative techniques for image anonymization have great potential to generate datasets that protect the privacy of those depicted in the images, while achieving high data fidelity and utility. Existing methods have focused extensively on preserving facial attributes, but failed to embrace a more comprehensive perspective that considers the scene and background into the anonymization process. This paper presents, to the best of our knowledge, the first approach to image anonymization based on Latent Diffusion Models (LDMs). Every element of a scene is maintained to convey the same meaning, yet manipulated in a way that makes re-identification difficult. We propose two LDMs for this purpose: CAMOUFLaGE-Base exploits a combination of pre-trained ControlNets, and a new controlling mechanism designed to increase the distance between the real and anonymized images. CAMOFULaGE-Light is based on the Adapter technique, coupled with an encoding designed to efficiently represent the attributes of different persons in a scene. The former solution achieves superior performance on most metrics and benchmarks, while the latter cuts the inference time in half at the cost of fine-tuning a lightweight module. We show through extensive experimental comparison that the proposed method is competitive with the state-of-the-art concerning identity obfuscation whilst better preserving the original content of the image and tackling unresolved challenges that current solutions fail to address.

研究の動機と目的

• 既存の画像匿名化手法が画像を歪ませる（例：ぼかし）またはシーンの構成を変更する（例：GANベースの合成）という限界に対処し、データの有用性とプライバシーを両立させる。
• 顔の属性、衣類、ジェスチャー、背景要因を含む意味的コンテンツを保持しながら、再識別を防止するプライバシー保護型画像匿名化フレームワークを開発する。
• 特にStable Diffusionを用いた潜在拡散モデル（LDM）を用いたエンドツーエンドの画像匿名化が、高い画像品質と忠実度を実現できるかを検証する。
• 重要な視覚的要素にわずかなプライバシー向上用の摂動を加えることで、強力な匿名化と高いデータ有用性のトレードオフを最適化する。
• 複数のベンチマークおよび下流タスクを用いた評価を通じて、実世界のシナリオにおける本手法の頑健性と実用性を示す。

提案手法

• CAMOUFLaGE-Baseは事前学習済みのControlNetsと、実画像と匿名化画像の分布間の距離を拡大しつつ意味的コンテンツを保持する、新たな匿名化ガイドランスメカニズムを採用する。
• 匿名化ガイドランスは元の画像に基づき、潜在拡散モデルのノイズ除去プロセス中に適用され、顔の特徴や身体部位をわずかに変更する。
• CAMOUFLaGE-Lightはアダプタ技術を用いて、顔の属性とシーン要因を符号化する軽量モジュールを微調整し、性能の低下を最小限に抑えつつ高速な推論を実現する。
• 両モデルとも元の画像に条件付けられ、テキストプロンプトを用いて生成プロセスをガイドすることで、元画像との意味的整合性を保証する。
• インpaintingではなくノイズから画像全体を生成することで、背景再構築による再識別リスクを防止する。
• 二重評価戦略を採用：FIDとVisual DNAで画像品質と属性の一貫性を評価し、顔属性分類やキャプション生成などの下流タスクでデータ有用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 潜在拡散モデルは、顔の属性やシーンの属性を保持しつつ、画像匿名化に効果的に適応可能か？
• RQ2 本手法は、インpaintingベースおよびGANベースの匿名化手法と比較して、再識別リスクと画像忠実度の面でどのように差をつけるか？
• RQ3 軽量アダプタベースのアーキテクチャ（CAMOUFLaGE-Light）は、フルアーキテクチャのベースライン（CAMOUFLaGE-Base）と比較して、推論時間を短縮しつつも、性能をどれほど維持できるか？
• RQ4 背景、衣類、ジェスチャーなどの意味的コンテンツを保持することで、匿名化画像の下流機械学習タスクにおける有用性は向上するか？
• RQ5 匿名化ガイドランスメカニズムは、知覚的品質を劣化させることなく、実画像と匿名化画像の間の距離をどれほど拡大できるか？

主な発見

• CAMOUFLaGE-Baseは、ポートレートデータセット（LFWおよびCelebA-HQ）において、FALCOおよびDP2よりも低いFIDスコアを達成し、画像品質が高く、分布的乖離が小さいことを示している。
• CelebA-HQデータセットにおいて、CAMOUFLaGE-Lightは、匿名化画像で微調整した際の内顔属性のAUCが0.890、外顔属性のAUCが0.919を記録し、元のデータ（0.904および0.922）とほぼ同等の性能を達成している。
• CAMOUFLaGE-Lightは768²解像度で1枚あたり2.8秒の推論時間を実現し、CAMOUFLaGE-Base（10.8秒/枚）と比較して3.8倍の高速化を達成している。
• Visual DNA距離指標では、CAMOUFLaGE-LightがFALCOを上回り、実画像と匿名化画像のペア間での意味的整合性が優れていることを示している。
• キャプション生成および外顔属性予測の両タスクにおいて、CAMOUFLaGE-LightはCLIPスコア0.83、AUC 0.980を達成し、両タスクでFALCOおよびDP2を上回っている。
• 匿名化画像における人種分類の正確度は、CAMOUFLaGE（Ours-Base：0.777、Ours-Light：0.758）がFALCO（0.654）を上回っており、人口統計的特徴の保持が良好であることを示している。