[논문 리뷰] Privacy Distillation: Reducing Re-identification Risk of Multimodal Diffusion Models

Virginia Fernández, Pedro L. Sánchez외 4명|arXiv (Cornell University)|2023. 06. 02.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 실질적인 의료 영상에서 훈련된 텍스트-이미지 확산 모델을 기반으로 합성 데이터를 생성하고, 재identification 검출기를 사용해 재identifi케이션 가능성이 있는 샘플을 걸러내며, 걸러낸 데이터로 두 번째 확산 모델을 재훈련하는 이단계 프레임워크인 프라이버시 딜리케이션(Privacy Distillation)을 제안한다. 이 방법은 재identifi케이션 위험을 3배 감소시켜 4.24%에서 1.34%로 낮추면서도 분류 작업에서 뛰어난 성능을 유지하여 기능성을 희생시키지 않은 효과적인 프라이버시 보호를 입증한다.

ABSTRACT

Knowledge distillation in neural networks refers to compressing a large model or dataset into a smaller version of itself. We introduce Privacy Distillation, a framework that allows a text-to-image generative model to teach another model without exposing it to identifiable data. Here, we are interested in the privacy issue faced by a data provider who wishes to share their data via a multimodal generative model. A question that immediately arises is ``How can a data provider ensure that the generative model is not leaking identifiable information about a patient?''. Our solution consists of (1) training a first diffusion model on real data (2) generating a synthetic dataset using this model and filtering it to exclude images with a re-identifiability risk (3) training a second diffusion model on the filtered synthetic data only. We showcase that datasets sampled from models trained with privacy distillation can effectively reduce re-identification risk whilst maintaining downstream performance.

연구 동기 및 목표

• 감정성 있는 의료 영상 데이터로 훈련된 다중모odal 확산 모델에서 환자 재identifi케이션 위험을 해결하기 위해.
• 기본적인 환자 특징을 기억하지 않는 프라이버시 보존형 딜리케이션 프레임워크를 개발하기 위해.
• 필터링된 합성 데이터가 분류와 같은 후행 작업에 대해 유지되는지 평가하기 위해.
• 기존 모델을 다시 훈련하지 않고도 합성 데이터의 후처리 필터링을 통해 재identifi케이션 위험을 줄일 수 있는지 입증하기 위해.
• 기존 생성 모델에 적용 가능한 실용적이고 사후 감사 기법을 제공하기 위해.

제안 방법

• 실제 흉부 X-ray 영상에 기반해 텍스트 프롬프트를 사용하여 첫 번째 조건부 잠재 확산 모델(LDM)을 훈련한다.
• 첫 번째 LDM을 사용해 실제 훈련 프롬프트에 조건화된 대규모 합성 데이터셋을 생성한다.
• 재identifi케이션 네트워크를 적용하여 실제 환자와 유사한 합성 이미지를 탐지하고 걸러낸다.
• 걸러낸 합성 데이터셋 전용으로 두 번째 LDM을 훈련하여 프라이버시 보장형 생성 모델을 만든다.
• 정제된 모델을 사용해 후행 평가를 위해 40,000장의 합성 이미지를 샘플링한다.
• 재identifi케이션 비율을 통해 프라이버시를 평가하고, 분류기 AUC와 텍스트-이미지 정렬 점수를 통해 모델 유틸리티를 평가한다.

Figure 1 : Privacy Distillation Pipeline.

실험 결과

연구 질문

• RQ1 의료 데이터로 훈련된 텍스트-이미지 확산 모델에서 이단계 딜리케이션 프로세스가 재identifi케이션 위험을 효과적으로 줄일 수 있는가?
• RQ2 실제 데이터로 훈련된 모델와 실시간 데이터로 피나이닝된 모델 간의 재identifi케이션 위험은 어떻게 다를까?
• RQ3 합성 데이터의 필터링이 분류 및 정렬 작업과 같은 후행 작업 성능에 얼마나 유지되는가?
• RQ4 기존 생성 모델에 대해 사후 필터링된 합성 데이터가 실용적인 프라이버시 감사 메커니즘으로 기능할 수 있는가?
• RQ5 정제된 생성 파이프라인에서 프라이버시와 모델 유틸리티 사이의 상충 관계는 어떠한가?

주요 결과

• 정제된 모델의 재identifi케이션 위험은 1.34%로, 원래 합성 모델의 4.24%보다 3.17배 감소하였다.
• 정제된 모델에서 생성된 합성 데이터로 훈련한 분류기의 AUC는 0.810으로, 실재 데이터 기준선인 0.863과 유사했다.
• 정제된 모델의 텍스트-이미지 정렬 점수($s_{align}$)는 0.611로 실재 데이터 기준선인 0.698보다 略적으로 낮았지만 여전히 허용 가능한 범위 내였다.
• 필터링 과정은 고유한 표현형의 기억을 줄였으며, 이는 약간의 성능 저하를 설명할 수 있지만 프라이버시 향상에 기여했다.
• 이 방법은 재훈련이 불가능한 경우에도 원본 훈련 데이터를暴露하지 않고 생성 모델을 안전하게 공유할 수 있도록 한다.
• 적절한 재identifi케이션 메트릭이 제공된다면 이 방법은 다른 영상 모odal리티와 조건부 유형으로도 일반화 가능하다.

Figure 2 : Effect of varying threshold $\delta$ on the re-identification score $s_{re-id}$ .