[論文レビュー] Differentially Private Imaging via Latent Space Manipulation

Tao Li, Chris Clifton|arXiv (Cornell University)|Mar 8, 2021

Face recognition and analysis参考文献 31被引用数 8

ひとこと要約

本論文は、生成モデルの潜在空間にノイズを追加することで、画像内の個人を保護する、初めての微分プライバシーを満たす画像のぼかし手法を提案する。これは、知覚的品質と意味的整合性を保ちながら、形式的な $\varepsilon$-微分プライバシーを保証する。本手法は潜在空間のクリッピングとラプラス機構によるノイズ注入を用い、プライバシーと現実性のバランスを図り、再識別攻撃に耐性のある高品質な匿名化顔画像を実現する。

ABSTRACT

There is growing concern about image privacy due to the popularity of social media and photo devices, along with increasing use of face recognition systems. However, established image de-identification techniques are either too subject to re-identification, produce photos that are insufficiently realistic, or both. To tackle this, we present a novel approach for image obfuscation by manipulating latent spaces of an unconditionally trained generative model that is able to synthesize photo-realistic facial images of high resolution. This manipulation is done in a way that satisfies the formal privacy standard of local differential privacy. To our knowledge, this is the first approach to image privacy that satisfies $\varepsilon$-differential privacy \emph{for the person.}

研究の動機と目的

• ぼかしやピクセル化といった従来の画像ぼかし手法には、プライバシー保護が不十分で画像の有用性が低下するという限界があるため、それらを是正すること。
• ピクセルレベルではなく、個人レベルで $\varepsilon$-微分プライバシーを定義することで、画像内の個人に対する形式的なプライバシー保証を提供すること。
• 再識別攻撃に耐性を持ちつつ、知覚的品質と意味的整合性を維持したぼかし画像を生成すること。
• 生成モデルを用いた微分プライバシー画像処理の実用的フレームワークを構築すること。
• 潜在空間における制御されたノイズとクリッピングによって、プライバシー（$\varepsilon$ で制御）と画像忠実度のトレードオフを明らかにすること。

提案手法

• 事前学習済みのStyleGANモデルを用いて、入力画像を潜在空間に符号化し、意味レベルでの操作を可能にする。
• ラプラス機構を適用して潜在ベクトルにノイズを追加し、画像内の個人に対して $\varepsilon$-微分プライバシーを保証する。
• 潜在表現の感度を制限するためのクリッピングステップを導入し、形式的なプライバシー保証を可能にするとともに、画像品質の向上を図る。
• プライバシーを確保した潜在ベクトルを生成器を用いて元の画像に復元し、微分プライバシーが保証された、写真のようにリアルな出力を得る。
• プライバシー予算 $\varepsilon$ は潜在成分ごとに分配され、合計プライバシー損失は個々の寄与の合計として計算される。
• ノイズスケールとクリッピングしきい値の調整により、プライバシーと有用性のトレードオフを柔軟に制御できる。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを、ピクセルレベルではなく個人レベルに形式的に適用できるか？
• RQ2 潜在空間の操作は、強いプライバシー保証を維持しながらも、意味的・知覚的品質をどのように保つことができるか？
• RQ3 潜在空間におけるクリッピングの影響は、画像忠実度とプライバシーの強度にどのように現れるか？
• RQ4 プライバシー予算（$\varepsilon$）を変化させると、プライバシーと画像品質のトレードオフにどのような影響が生じるか？
• RQ5 ランダムな潜在空間の摂動は、再識別攻撃を防ぎつつ、現実的な画像出力を維持できるか？

主な発見

• 提案手法は、個人レベルでの $\varepsilon$-微分プライバシーを達成し、これは個人レベルでのそのようなプライバシーの形式的定義として初めてのものである。
• 潜在空間を25%と75%分位数でクリッピングすることで、ノイズの影響に対する耐性が向上し、歪みが未クリッピング設定よりも著しく低減され、画像品質が向上した。
• $\varepsilon$ が大きくなる（ノイズが少ない）ほど、PSNR、SSIM、FIDの指標が向上し、ピクセルレベルの歪みが減少し、元の画像との意味的類似度が向上することが示された。
• 低 $\varepsilon$（高いノイズ）でも、生成画像は顔として認識可能であり、表情やポーズといった重要な意味的特徴が保持されたままだった。
• 同じ画像に対して複数回のプライバシー化出力が異なるのは、ランダム性のおかげであり、本手法が再構築攻撃に対して耐性を持つことを示している。
• 十分に大きな $\varepsilon$ の場合、知覚的品質が高く維持され、$\varepsilon = \infty$ の例（例えば）ではFIDスコアが元の画像に近づくことが確認された。