[논문 리뷰] Fully Adaptive Composition in Differential Privacy

Justin Whitehouse, Aaditya Ramdas외 2명|arXiv (Cornell University)|2022. 03. 10.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 적응적으로 선택된 비밀유지 파rameter를 허용함에도 불구하고 고급 조합과 동일한 渐近적 비밀유지 경계를 달성하는 완전 적응형 조합을 위한 비밀유지 필터와 오도미터를 소개한다. 마팅게일 집중 부등식을 활용하여, 고급 조합의 속도를 따라가는 필터와 이중 로그 단계 요소까지 최적화된 오도미터를 구축함으로써, 큰 상수를 최소화하여 실용적인 적응형 비밀유지 회계를 가능하게 한다.

ABSTRACT

Composition is a key feature of differential privacy. Well-known advanced composition theorems allow one to query a private database quadratically more times than basic privacy composition would permit. However, these results require that the privacy parameters of all algorithms be fixed before interacting with the data. To address this, Rogers et al. introduced fully adaptive composition, wherein both algorithms and their privacy parameters can be selected adaptively. They defined two probabilistic objects to measure privacy in adaptive composition: privacy filters, which provide differential privacy guarantees for composed interactions, and privacy odometers, time-uniform bounds on privacy loss. There are substantial gaps between advanced composition and existing filters and odometers. First, existing filters place stronger assumptions on the algorithms being composed. Second, these odometers and filters suffer from large constants, making them impractical. We construct filters that match the rates of advanced composition, including constants, despite allowing for adaptively chosen privacy parameters. En route we also derive a privacy filter for approximate zCDP. We also construct several general families of odometers. These odometers match the tightness of advanced composition at an arbitrary, preselected point in time, or at all points in time simultaneously, up to a doubly-logarithmic factor. We obtain our results by leveraging advances in martingale concentration. In sum, we show that fully adaptive privacy is obtainable at almost no loss.

연구 동기 및 목표

• 완전 적응형 비밀유지에서 고급 조합과 기존 비밀유지 필터/오도미터 간 격차를 해소하기 위해.
• 적응적으로 비밀유지 파rameter를 선택할 경우 고급 조합의 비밀유지 경계, 상수까지 일치하는 비밀유지 필터를 구축하기 위해.
• 임의의 시간점 또는 모든 시간점에서 이중 로그 단계 요소까지 최적화된 일반적인 비밀유지 오도미터 가족을 설계하기 위해.
• 기존 접근법에서 막혔던 큰 상수를 줄여 실용적인 적응형 비밀유지 회계를 가능하게 하기 위해.

제안 방법

• 적응형 조합에서의 비밀유지 손실에 대한 엄밀한 경계를 도출하기 위해 마팅게일 집중 부등식을 활용한다.
• 비밀유지 파rameter가 적응적으로 선택되더라도 전체 비밀유지 예산이 유지되도록 보장하는 비밀유지 필터를 구축한다.
• 누적 비밀유지 손실에 대해 시간에 관계없이 고확률 상한을 제공하는 비밀유지 오도미터를 개발한다.
• 비밀유지 손실 랜덤 변수와 조건부 기대값을 기반으로 한 새로운 분석 프레임워크를 사용하여 엄밀한 경계를 도출한다.
• zCDP(제로-집중된 비밀유지)의 결과를 적용하여 약간의 zCDP에 대한 필터를 구축한다.
• 사전 지정된 시간점 또는 모든 시간 단계에서 과도한 추정을 최소화하기 위해 오도미터 시퀀스를 최적화한다.

실험 결과

연구 질문

• RQ1 완전 적응형 조합에 대해 고급 조합의 비밀유지 경계, 상수까지 일치하는 비밀유지 필터를 구축할 수 있는가?
• RQ2 적응형 조합에서 임의의 시간점 또는 모든 시간점에서 이중 로그 단계 요소까지 최적화된 비밀유지 오도미터를 설계할 수 있는가?
• RQ3 기존 필터와 오도미터에서 큰 상수를 어떻게 줄일 수 있는가? 이를 통해 실용적으로 사용 가능한 상태로 만들 수 있는가?
• RQ4 비밀유지 파rameter가 적응적으로 선택되더라도 고급 조합의 이론적 보장을 유지할 수 있는가?
• RQ5 최소한의 비밀유지 효율 손실로 완전 적응형 조합을 달성할 수 있는가?

주요 결과

• 제안된 비밀유지 필터는 완전 적응형 비밀유지 파rameter 선택 조건 하에서도 고급 조합과 동일한 渐近적 비밀유지 경계를 달성하며, 상수까지 정확히 일치한다.
• 비밀유지 오도미터는 사전 지정된 시간점에서 이중 로그 단계 요소까지 최적화되어 있으며, 다양한 비밀유지 목표에 맞게 최적화할 수 있다.
• 저자들은 약간의 zCDP에 대한 비밀유지 필터를 구축하여 프레임워크의 적용 범위를 확장한다.
• 비밀유지 손실에 대한 경계는 마팅게일 집중을 통해 유도되었으며, 누적 비밀유지 손실에 대해 시간에 관계없이 제어할 수 있다.
• 결과적으로 완전 적응형 비밀유지가 비밀유지 효율에 거의 손실을 끼치지 않음을 보여주며, 이는 이론적으로 타당하고 실용적으로도 가능하다.