[論文レビュー] Privacy Distillation: Reducing Re-identification Risk of Multimodal Diffusion Models

Virginia Fernández, Pedro L. Sánchez+4 more|arXiv (Cornell University)|Jun 2, 2023

Machine Learning in Healthcare被引用数 4

ひとこと要約

本稿では、プライバシー蒸留（Privacy Distillation）を提案する。これは2段階のフレームワークであり、実際の医療画像でテキストから画像への拡散モデルを訓練し、合成データを生成し、再識別検出器を用いて再識別可能なサンプルをフィルタリングした後、フィルタリング済みデータで再訓練する2番目の拡散モデルを学習する。この手法により、再識別リスクが3倍（4.24%から1.34%）低減された一方で、分類タスクにおける下流性能は強く維持され、有用性を損なわせることなく効果的なプライバシー保護が実現された。

ABSTRACT

Knowledge distillation in neural networks refers to compressing a large model or dataset into a smaller version of itself. We introduce Privacy Distillation, a framework that allows a text-to-image generative model to teach another model without exposing it to identifiable data. Here, we are interested in the privacy issue faced by a data provider who wishes to share their data via a multimodal generative model. A question that immediately arises is ``How can a data provider ensure that the generative model is not leaking identifiable information about a patient?''. Our solution consists of (1) training a first diffusion model on real data (2) generating a synthetic dataset using this model and filtering it to exclude images with a re-identifiability risk (3) training a second diffusion model on the filtered synthetic data only. We showcase that datasets sampled from models trained with privacy distillation can effectively reduce re-identification risk whilst maintaining downstream performance.

研究の動機と目的

• 感度の高い医療画像データで訓練されたマルチモodal拡散モデルにおける患者の再識別リスクに対処すること。
• 識別可能な患者特徴の記憶を回避するプライバシー保護型蒸留フレームワークの開発。
• フィルタリングされた合成データが、分類などの下流タスクに有用性を維持できるかどうかの評価。
• 再生成後のフィルタリングが、元のモデルを再訓練しなくても再識別リスクを低減できることの実証。
• 既存の生成モデルに適用可能な実用的で後から適用可能な監査手法の提供。

提案手法

• テキストプロンプトを用いて、実際のチ胸レントゲン画像で最初の条件付き潜在拡散モデル（LDM）を訓練する。
• 最初のLDMを用いて、実際の訓練プロンプトに条件づけられた大規模な合成データセットを生成する。
• 再識別ネットワークを適用して、実際の患者に類似する合成画像を検出し、フィルタリングする。
• フィルタリング済みの合成データセットにのみ特化して、2番目のLDMを訓練し、プライバシー保護型の生成モデルを生成する。
• 蒸留モデルを用いて、下流評価のための40,000枚の合成画像をサンプリングする。
• プライバシー評価には再識別率、モデルの有用性評価には分類器AUCおよびテキスト-画像アライメントスコアを用いる。

Figure 1 : Privacy Distillation Pipeline.

実験結果

リサーチクエスチョン

• RQ1 テキストから画像への拡散モデルを医療データで訓練する際、2段階の蒸留プロセスが再識別リスクを効果的に低減できるか。
• RQ2 本物のデータで微調整されたモデルと、初期から訓練されたモデルの間で、再識別リスクはどのように異なるか。
• RQ3 合成データのフィルタリングが、分類およびアライメントタスクにおける下流タスクの性能をどの程度維持できるか。
• RQ4 生成後の合成データのフィルタリングが、既存の生成モデルに対して実用的なプライバシー監査メカニズムとして機能できるか。
• RQ5 蒸留生成パイプラインにおいて、プライバシーとモデル有用性のトレードオフはどのようなものか。

主な発見

• 蒸留モデルの再識別リスクは1.34%にまで低下し、元の合成モデルの4.24%から3.17倍の低減が達成された。
• 蒸留モデルから得た合成データで訓練された分類器のAUCは0.810であり、本物のデータベースラインの0.863と比較してほぼ同等であった。
• 蒸留モデルのテキスト-画像アライメントスコア（$s_{align}$）は0.611であり、本物のデータベースラインの0.698よりわずかに低かったが、依然として許容範囲内であった。
• フィルタリングにより、特徴的な表現の記憶が低減されたと考えられ、わずかな性能低下の理由となったが、プライバシーの向上が著しかった。
• 元の訓練データを露呈させることなく、生成モデルの安全な共有が可能となり、特に再訓練が不可能な場合でも有効である。
• 適切な再識別メトリクスが用意されていれば、他の画像モodalおよび条件付けタイプに対しても一般化可能である。

Figure 2 : Effect of varying threshold $\delta$ on the re-identification score $s_{re-id}$ .