[논문 리뷰] Optimal Accounting of Differential Privacy via Characteristic Function

Yuqing Zhu, Jinshuo Dong외 1명|arXiv (Cornell University)|2021. 06. 16.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 12

한 줄 요약

이 논문은 개인정보 유출 랜덤 변수의 특성 함수(ϕ-함수)를 사용하여 미분적 개인정보 보호 계정을 위한 통합 프레임워크를 제안한다. 이는 레니-DP, f-DP, 개인정보 프로필, PLD 간 최적의 손실 없는 변환을 가능하게 하며, 분석적 푸리에 계정기(AFA)는 ϕ-함수의 복소 로그의 기호 표현과 가우시안 구적법을 사용하여 정확하고 날카운트한 개인정보 보호 계정을 제공한다. 이는 복합성에서 RDP를 능가하며 점근적 근사나 이산화 선택 없이 최신 기술 수준의 결과를 달성한다.

ABSTRACT

Characterizing the privacy degradation over compositions, i.e., privacy accounting, is a fundamental topic in differential privacy (DP) with many applications to differentially private machine learning and federated learning. We propose a unification of recent advances (Renyi DP, privacy profiles, $f$-DP and the PLD formalism) via the \emph{characteristic function} ($ϕ$-function) of a certain \emph{dominating} privacy loss random variable. We show that our approach allows \emph{natural} adaptive composition like Renyi DP, provides \emph{exactly tight} privacy accounting like PLD, and can be (often \emph{losslessly}) converted to privacy profile and $f$-DP, thus providing $(ε,δ)$-DP guarantees and interpretable tradeoff functions. Algorithmically, we propose an \emph{analytical Fourier accountant} that represents the \emph{complex} logarithm of $ϕ$-functions symbolically and uses Gaussian quadrature for numerical computation. On several popular DP mechanisms and their subsampled counterparts, we demonstrate the flexibility and tightness of our approach in theory and experiments.

연구 동기 및 목표

• 레니-DP, f-DP, 개인정보 프로필, PLD와 같은 분리된 미분적 개인정보 보호 형식을 단일 수학적 프레임워크로 통합한다.
• PLD 형식의 기초적 문제를 해결하기 위해 악성 쌍의 개념을 도입하여 최악의 개인정보 유출 분석을 일반화한다.
• 모든 주요 DP 표현 간 손실 없는 정확한 변환을 가능하게 하여 최적의 개인정보-유용성 트레이드오프를 보장한다.
• 점근적 근사나 이산화 오차 없이, 효율적이고 수치적으로 안정된 알고리즘을 개발하여 개인정보 보호 계정을 수행한다.
• 서브샘플된 메커니즘을 포함한 다양한 DP 메커니즘에서 적응형 복합성을 지원하는 실용적이고 오픈소스 도구(AFA)를 제공한다.

제안 방법

• 논문은 기존 PLD 제한을 초월하여 최악의 개인정보 유출 분석을 일반화하기 위해 분포의 '악성 쌍'을 수식화한다.
• 정확한 해석적 계산을 가능하게 하기 위해 개인정보 유출 랜덤 변수의 특성 함수(ϕ-함수)를 기호적으로 표현한다.
• ϕ-함수의 복소 로그를 사용하여 모멘트 계정기를 복소수 α로 확장함으로써 자연스러운 적응형 복합성을 가능하게 한다.
• 가우시안 구적법 기반의 수치적 적분 기법을 사용하여 (ε,δ)-DP에 대한 δ(ε)를 높은 정확도와 효율성으로 계산한다.
• 클래식적인 푸리에-라플라스 변환 관계를 통해 ϕ-함수, 개인정보 프로필, f-DP, PLD 표현 간 이중 방향의 손실 없는 변환을 허용한다.
• 분석적 푸리에 계정기(AFA)는 기호 계산 파이프라인으로 구현되어 오픈소스로 제공되며, 실용적 구현을 지원한다.

실험 결과

연구 질문

• RQ1 단일 수학적 프레임워크가 레니-DP, f-DP, 개인정보 프로필, PLD와 같은 기존의 분리된 미분적 개인정보 보호 형식을 공통 표현으로 통합할 수 있는가?
• RQ2 최악의 이웃 데이터셋 쌍이 존재하지 않거나 식별하기 어려운 메커니즘을 다룰 수 있도록 PLD 형식을 어떻게 일반화할 수 있는가?
• RQ3 tight하고 적응형 복합성을 위한 개인정보 유출 분포를 표현하고 계산하는 최적의 방법은 무엇인가?
• RQ4 개인정보 유출 랜덤 변수의 특성 함수가 모든 주요 DP 표현으로 정확하고 손실 없는 변환을 가능하게 할 수 있는가?
• RQ5 점근적 근사나 이산화에 의존하지 않고도 (ε,δ)-DP 보장을 정확하고 효율적으로 수치 계산할 수 있는 방법은 무엇인가?

주요 결과

• 제안된 프레임워크는 특성 함수 기반 변환을 통해 f-DP, 개인정보 프로필, PLD, 레니-DP를 포함한 모든 주요 DP 형식 간 손실 없는 변환을 가능하게 한다.
• 악성 쌍의 도입으로 PLD 형식이 일반화되어, 명시적 이웃 데이터셋 쌍이 존재하지 않거나 불가능한 경우에도 최악의 개인정보 분석이 가능해진다.
• 분석적 푸리에 계정기(AFA)는 서브샘플된 가우시안 및 라플라스 메커니즘을 포함한 여러 메커니즘에서 레니-DP보다 날카운트한 개인정보 보호 계정을 달성한다.
• AFA는 가우시안 구적법을 사용하여 (ε,δ)-DP 보장을 고도로 정확하게 계산하며, FFT 기반 이산화나 중심극한정리 기반 근사가 필요 없어진다.
• 실험 결과 AFA는 도نغ 등(2021)과 코스켈라 등(2021)의 최신 기술 수준의 방법과 동등한 날카운트함을 보였지만, 그들의 계산적 제약이나 근사 오차 문제를 피한다.
• 오픈소스 AFA 구현은 기계학습 및 피어 투 피어 학습 분야에서 다양한 DP 응용 분야에 대한 실용적이고 효율적이며 정확한 개인정보 보호 계정을 가능하게 한다.