[논문 리뷰] Differentially Private Query Release Through Adaptive Projection

Sergül Aydöre, William F. Brown외 5명|arXiv (Cornell University)|2021. 03. 11.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 11

한 줄 요약

이 논문은 적응적이고 연속적인 투영 기법의 완화를 통해 대량의 통계적 질의에 대한 답변을 비밀리에 공개하는 비밀리에 보장되는 알고리즘을 제안한다. 미분 가능 최적화와 고오차 질의 기반의 반복적 개선을 가능하게 함으로써, 이전 방법들에 비해 특히 고비밀리성 및 고워크로드 환경에서 최대 오차를 크게 감소시킨다.

ABSTRACT

We propose, implement, and evaluate a new algorithm for releasing answers to very large numbers of statistical queries like $k$-way marginals, subject to differential privacy. Our algorithm makes adaptive use of a continuous relaxation of the Projection Mechanism, which answers queries on the private dataset using simple perturbation, and then attempts to find the synthetic dataset that most closely matches the noisy answers. We use a continuous relaxation of the synthetic dataset domain which makes the projection loss differentiable, and allows us to use efficient ML optimization techniques and tooling. Rather than answering all queries up front, we make judicious use of our privacy budget by iteratively and adaptively finding queries for which our (relaxed) synthetic data has high error, and then repeating the projection. We perform extensive experimental evaluations across a range of parameters and datasets, and find that our method outperforms existing algorithms in many cases, especially when the privacy budget is small or the query class is large.

연구 동기 및 목표

• 대량의 통계적 질의에 대해 비밀리에 보장되는 환경에서 정확한 답변을 공개하는 데 도전하는 것.
• 합성 데이터 생성에서 이산적 투영의 계산 불가능성을 극복하면서도 비밀리에 보장 조건을 유지하는 것.
• 기존 방법이 실패하는 고비밀리성 및 고워크로드 환경에서 정확도를 향상시키는 것.
• 딥러닝 도구를 활용해 다양한 질의 유형에 대해 효율적이고 확장 가능한 배포를 가능하게 하는 것.
• 적응적이고 반복적인 질의 선택과 함께 연속적 완화를 통합하면 비적응적 또는 이산적 방법보다 더 높은 유용성을 달성할 수 있는지 입증하는 것.

제안 방법

• 합성 데이터셋 도메인의 연속적 완화를 사용하여 투영 손실를 미분 가능하게 만들며, 이는 1차 최적화 기법을 가능하게 한다.
• 반복적이고 적응적인 질의 선택을 적용한다: 각 라운드 후, 알고리즘은 고오차 질의를 식별하고 해당 질의에만 응답함으로써 비밀리에 보장 예산을 절약한다.
• 미분 가능한 투영 단계는 기울기 기반 최적화를 사용하여 노이즈가 섞인 질의 답변과 합성 데이터셋 답변 간의 L2 거리를 최소화한다.
• 랜덤라이즈드 라운딩을 적용하여 연속적 합성 데이터셋을 원래 스키마에 맞는 유효한 이산 데이터셋으로 변환한다.
• 딥러닝 프레임워크에서 제공하는 자동 미분 및 GPU 가속을 활용하여 대규모 질의 세트에 대해 효율적으로 확장할 수 있다.
• 알고리즘은 확장 가능하다: 새로운 질의 유형을 지원하기 위해서는 최적화 파이프라인을 재설계할 필요 없이 질의 평가 함수만 구현하면 된다.

실험 결과

연구 질문

• RQ1 투영 기법의 연속적 완화가 비밀리에 보장되는 질의 공개에서 정확도를 향상시키면서도 비밀리에 보장 조건을 훼손하지 않을 수 있는가?
• RQ2 적응적이고 반복적인 질의 선택은 동시에 모든 질의에 응답하는 것보다 비밀리에 보장 예산을 더 효과적으로 사용할 수 있는가?
• RQ3 다양한 비밀리에 보장 예산과 질의 워크로드에서 정확도와 런타임은 어떻게 확장되는가?
• RQ4 소규모로 명시적으로 응답된 질의 집합에서의 일반화가 미지의 질의에 대해 성능 향상에 얼마나 기여하는가?
• RQ5 아키텍처 변경 없이도 새로운 질의 유형에 쉽게 확장할 수 있는가?

주요 결과

• RAP는 모든 테스트된 비밀리에 보장 예산과 질의 수에서 FEM을 뛰어넘으며, 특히 고비밀리성(낮은 ε) 및 고워크로드 환경에서 두드러진 성능을 보인다.
• Adult 데이터셋의 3방향 마진에 대해, RAP는 후행 최적화가 적용된 HDMM+LLS와 HDMM+PGM보다 작은 워크로드 환경에서 더 낮은 최대 오차를 기록한다.
• ε = 0.1일 때, RAP는 3-way 및 5-way 마진의 수가 64로 증가함에 따라도 낮은 최대 오차를 유지하며 FEM을 일관되게 능가한다.
• 5배 오버샘플링을 적용한 랜덤라이즈드 라운딩은 연속적 합성 데이터셋에 비해 오차를 약간만 감소시켰으며, 이는 강력한 무결성 유지 능력을 시사한다.
• 최적의 합성 데이터셋 크기 n′은 약 1000~2000이며, 이를 초과하면 최적화의 불안정성으로 인해 오차가 증가한다.
• 작은 n′일수록 런타임이 감소하지만, n′이 너무 작아지면 성능이 저하되어 효율성과 정확성 사이의 상충 관계가 드러난다.