[논문 리뷰] Kamino: Constraint-Aware Differentially Private Data Synthesis

Chang Ge, Shubhankar Mohapatra외 2명|arXiv (Cornell University)|2020. 12. 31.

Privacy-Preserving Technologies in Data참고 문헌 74인용 수 9

한 줄 요약

Kamino는 확률적 데이터베이스 프레임워크를 사용하여 부정 금지 제약조건(DCs)을 명시적으로 모델링함으로써 관계형 데이터 구조를 보존하는 비밀 보장 데이터 합성 시스템이다. 이 시스템은 연합 확률을 조건부 확률 체인으로 분해하고, 혼합된 데이터 유형을 처리하기 위해 약한 텐서 임bedding와 어텐션 메커니즘을 사용하며, 분류 및 마진 조건 질의 작업에서 최신 기술 수준의 유틸리티를 달성하면서도 강력한 비밀 보장과 최소한의 제약 위반을 유지한다.

ABSTRACT

Organizations are increasingly relying on data to support decisions. When data contains private and sensitive information, the data owner often desires to publish a synthetic database instance that is similarly useful as the true data, while ensuring the privacy of individual data records. Existing differentially private data synthesis methods aim to generate useful data based on applications, but they fail in keeping one of the most fundamental data properties of the structured data -- the underlying correlations and dependencies among tuples and attributes (i.e., the structure of the data). This structure is often expressed as integrity and schema constraints, or with a probabilistic generative process. As a result, the synthesized data is not useful for any downstream tasks that require this structure to be preserved. This work presents Kamino, a data synthesis system to ensure differential privacy and to preserve the structure and correlations present in the original dataset. Kamino takes as input of a database instance, along with its schema (including integrity constraints), and produces a synthetic database instance with differential privacy and structure preservation guarantees. We empirically show that while preserving the structure of the data, Kamino achieves comparable and even better usefulness in applications of training classification models and answering marginal queries than the state-of-the-art methods of differentially private data synthesis.

연구 동기 및 목표

• 기존의 차별적 비밀 보장 데이터 합성 방법에서 관계형 제약조건, 특히 부정 금지 제약조건(DCs)에 대한 구조 보존의 부족을 해결하기 위해.
• 실제 세계의 관계형 데이터베이스에 내재된 상관관계 구조와 무결성 제약조건을 유지하면서도 차별적 비밀 보장을 보장하는 종단 간 시스템을 개발하기 위해.
• 분류 및 마진 조건 질의 답변과 같은 후행 응용 프로그램이 진짜 데이터의 통계적 및 구조적 특성을 밀도 있게 반영한 합성 데이터에서 높은 유틸리티를 달성할 수 있도록 하기 위해.
• 비밀 보장된 DC 가중치 추정과 최소한의 성능 오버헤드로 합성 인스턴스를 생성하는 효율적이고 확장 가능한 학습 및 샘플링 파이프라인을 설계하기 위해.

제안 방법

• Kamino는 유효한 인스턴스(모든 DC를 만족하는)가 높은 확률을 가질 수 있도록, DC를 모델의 매개변수 요소로 사용하여 데이터베이스를 확률적 데이터베이스로 모델링한다.
• 주어진 부정 금지 제약조건에 기반하여 데이터베이스 인스턴스의 연합 확률을 조건부 확률의 사슬으로 분해함으로써 효율적인 학습과 샘플링을 가능하게 한다.
• 혼합된 범주형 및 수치형 속성을 처리하기 위해 학습된 임베딩과 어텐션 메커니즘을 사용하여 튜플 수준의 분포를 비밀 보장된 방식으로 추정한다.
• 각 부정 금지 제약조건의 중요도를 추정하기 위해 비밀 보장된 가중치 학습 알고리즘을 설계하여, 확률 모델 내에서 부드러운 제약조건으로 간주한다.
• 학습 및 샘플링 단계 전반에 걸쳐 엄밀한 종단 간 차별적 비밀 보장 경계를 계산하기 위해 고급 비밀 보장 복합 기법을 사용한다.
• 합성 데이터베이스는 학습된 비밀 보장 모델에서 후처리 샘플링을 통해 생성되며, 후처리 성질에 따라 출력이 차별적 비밀 보장됨을 보장한다.

실험 결과

연구 질문

• RQ1 차별적 비밀 보장 데이터 합성은 분류 작업의 유틸리티에 핵심적인 영향을 미치는 복잡한 관계형 구조, 예를 들어 부정 금지 제약조건을 어떻게 보존할 수 있는가?
• RQ2 차별적 비밀 보장을 유지하면서도 속성 및 튜플 수준의 상관관계를 효율적으로 모델링하고 학습할 수 있는 방법은 무엇인가?
• RQ3 부정 금지 제약조건을 통합할 경우, 최신 기술 수준의 방법에 비해 분류 및 마진 조건 질의 워크로드에서 합성 데이터의 유틸리티는 어느 정도 향상되는가?
• RQ4 제약조건 인식 비밀 보장 학습 및 샘플링의 성능 오버헤드는 얼마나 되며, 유틸리티나 비밀 보장의 손실 없이 이를 최소화할 수 있는가?

주요 결과

• Kamino는 분류 작업에서 최신 기술 수준의 방법과 유사하거나 더 높은 성능을 달성하며, 합성 데이터에서 더 높은 정확도와 F1 스코어를 기록한다.
• 마진 조건 질의 워크로드에서, Kamino가 생성한 합성 데이터는 진짜 데이터와의 변동 거리 측정에서 기존 방법과 비슷하거나 뛰어난 성능을 보인다.
• Kamino가 생성한 합성 데이터는 진짜 데이터와 통계적으로 구분되지 않는 수준의 부정 금지 제약조건 위반 수를 보이며, 강력한 구조 보존 능력을 입증한다.
• 제약조건 모델링의 추가 복잡성에도 불구하고, 비구조 인식 방법에 비해 성능 오버헤드가 거의 없음을 확인했다.
• Kamino는 비밀 보장된 방식으로 부정 금지 제약조건 가중치를 성공적으로 학습하고 해석하여, 생성 모델 내에서 부드러운 제약조건 강제를 가능하게 했다.