[논문 리뷰] Privacy Measurement in Tabular Synthetic Data: State of the Art and Future Research Directions

Alexander Boudewijn, Andrea Filippo Ferraris외 5명|arXiv (Cornell University)|2023. 11. 29.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 표 형태의 합성 데이터에 대한 프라이버시 측정 기법에 대한 종합적인 설문 조사로, 위협 모델, 메트릭, 공격 유형을 기반으로 기존 방법을 평가한다. 표준화 부족을 지적하고, 연구자들이 적절한 프라이버시 평가를 선택하는 데 도움이 되는 프레임워크를 제안함으로써, 견고하고 검증 가능한 합성 데이터 시스템 개발을 촉진한다.

ABSTRACT

Synthetic data (SD) have garnered attention as a privacy enhancing technology. Unfortunately, there is no standard for quantifying their degree of privacy protection. In this paper, we discuss proposed quantification approaches. This contributes to the development of SD privacy standards; stimulates multi-disciplinary discussion; and helps SD researchers make informed modeling and evaluation decisions.

연구 동기 및 목표

• 합성 표 형태 데이터의 프라이버시 보호를 평가하기 위한 표준화되고 정량적인 방법의 부족을 해결하기 위해.
• 위협 모델, 메트릭, 공격 기법을 기반으로 기존 프라이버시 측정 접근 방식을 체계화하기 위해.
• 합성 데이터 생성기의 설계 및 평가에 있어 정보를 바탕으로 한 결정을 지원하고 다학제적 논의를 자극하기 위해.
• 현재의 프라이버시 평가 프레임워크에서 법적, 기술적, 경험적 검증 분야에서의 연구 격차를 특정하기 위해.
• 향후 합성 데이터 생성 및 평가 분야에서 프라이버시 표준을 수립하는 기초를 마련하기 위해.

제안 방법

• 위협 모델(노 박스, 블랙 박스, 화이트 박스, 불확실한 박스, 보조 정보 포함)을 기반으로 29개의 기존 프라이버시 평가 프레임워크를 분류하고 평가한다.
• 프라이버시 메트릭을 거리 기반(예: 유클리드, 하밍), 분포 기반(예: 콜모고로프-스미르노프, KLD), 추론 기반(예: 멤버십 인퍼런스, 속성 인퍼런스)의 세 가지 범주로 분류한다.
• WP29에서 정의한 세 가지 핵심 프라이버시 위험(개별 식별, 연결 가능성, 추론)에 공격 기법을 매핑한다.
• 공격 기반 검증을 활용한 합성 데이터 평가를 위한 체계적인 프레임워크를 제안하며, 이는 최근접 이웃, 샤프트 모델링, 멤버십 인퍼런스 공격 포함.
• 실제 적용에서 사용되는 지표의 분류 체계를 도입하여, 데이터 유틸리티를 평가하는 데 사용되는 지표와 프라이버시 泄露를 측정하는 데 사용되는 지표를 구분한다.
• 멤버십 인퍼런스 및 취약성 탐지에서 정규화된 학습 모델 메트릭(예: AUC, F1, 정밀도-재현율)을 프라이버시 추정치로 사용하는 방식을 분석한다.

Figure 1 : Mode collapse: the real records (visualized in black) are varied, and represented in two regions of the plane (top-left; bottom-right). The generator only learns to replicate synthetic records (visualized in grey) in the top-left group: merely inferring their patterns is sufficient to dec

실험 결과

연구 질문

• RQ1 현행 연구에서 합성 표 형태 데이터의 경험적 프라이버시 평가에 가장 널리 사용되는 위협 모델은 무엇인가?
• RQ2 현재 연구에서 가장 자주 사용되는 프라이버시 메트릭과 공격 기법은 무엇이며, 이는 세 가지 핵심 프라이버시 위험(개별 식별, 연결 가능성, 추론)과 어떻게 일치하는가?
• RQ3 예를 들어 GANs, VAEs, 시드 기반 생성기와 같은 다양한 데이터 생성 방법은 프라이버시 공격에 대한 취약성에 어떻게 영향을 미치는가?
• RQ4 기존 프레임워크에서 보조 정보를 얼마나 통합하고 있으며, 이는 프라이버시 평가의 타당성에 어떤 영향을 미치는가?
• RQ5 법적, 기술적, 표준화 분야에서 현재의 프라이버시 측정 관행에 가장 두드러진 격차는 무엇인가?

주요 결과

• 합성 표 형태 데이터의 프라이버시 보호 수준을 정량화하는 표준화되고 보편적으로 인정되는 방법이 존재하지 않으며, 이는 보편적 채택의 주요 장벽이 된다.
• 거리 기반 메트릭(예: 유클리드, 하밍)과 분포 비교(예: KLD, KS 검정)가 가장 널리 사용되는 프라이버시 평가 기법이다.
• 멤버십 인퍼런스 공격(MIA)과 샤프트 모델링은 특히 블랙박스 및 화이트박스 위협 모델 하에서 프라이버시 泄露를 평가하는 데 자주 사용된다.
• 시드 기반 생성기는 실제 데이터와 합성 데이터 간의 일对일 대응 관계로 인해 더 높은 프라이버시 위험을 가진다. 이는 개별 식별 공격에 더 취약하게 만든다.
• 29개의 프레임워크 중 단 11개만 보조 정보를 명시적으로 사용하며, 대부분의 프레임워크가 제어 기반 베이스라인에 대해 결과를 검증하지 않아 신뢰성이 제한된다.
• 기술적 프라이버시 메트릭과 법적 준수 프레임워크 간의 통합이 현저히 부족하며, 특히 GDPR 및 익명화 기준과 관련하여 두드러진다.

Figure 2 : Visualization of an attack. Dotted lines indicate that the adversary may or may not leverage information sources, depending on the threat model: the adversary may use auxiliary information and/or information about the generative model (no, black, uncertain, or white box).