[논문 리뷰] Optimal Differential Privacy Composition for Exponential Mechanisms and the Cost of Adaptivity

Jinshuo Dong, David Durfee외 1명|arXiv (Cornell University)|2019. 09. 30.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 7

한 줄 요약

이 논문은 고정된 비밀유지 파rameter를 가진 기계들에 대해 지수 기반 기계의 최적의 차별적 비밀유지 복합 기법을 설정하며, 이전까지 알려지지 않았던 적응형과 비적응형 설정 간의 근본적인 격차를 드러낸다. 일반화된 랜덤 응답과 모멘트 생성 함수 기법을 사용하여 비적응형 동일 복합 기법에 대해 효율적으로 계산 가능한 표현식과 적응형 복합 기법에 대해 향상된 수치적으로 안정된 경계를 제공한다.

ABSTRACT

Composition is one of the most important properties of differential privacy (DP), as it allows algorithm designers to build complex private algorithms from DP primitives. We consider precise composition bounds of the overall privacy loss for exponential mechanisms, one of the fundamental classes of mechanisms in DP. We give explicit formulations of the optimal privacy loss for both the adaptive and non-adaptive settings. For the non-adaptive setting in which each mechanism has the same privacy parameter, we give an efficiently computable formulation of the optimal privacy loss. Furthermore, we show that there is a difference in the privacy loss when the exponential mechanism is chosen adaptively versus non-adaptively. To our knowledge, it was previously unknown whether such a gap existed for any DP mechanisms with fixed privacy parameters, and we demonstrate the gap for a widely used class of mechanism in a natural setting. We then improve upon the best previously known upper bounds for adaptive composition of exponential mechanisms with efficiently computable formulations and show the improvement.

연구 동기 및 목표

• 지수 기반 기계의 최적의 차별적 비밀유지 복합 기준을 규명하는 것, 이는 DP 알고리즘의 근본적인 클래스이다.
• 비밀유지 파rameter가 고정되어 있을 때, 지수 기반 기계의 선택 방식이 적응형인가 아닌가가 총합 비밀유지 손실에 영향을 주는가를 조사하는 것.
• 비적응형 동일 복합 기법에서 최적 복합 기준의 효율적인 계산 방법을 개발하는 것.
• 지수 기반 기계의 구조에 맞게 농도 불등식을 조정하여 기존의 적응형 복합 기준을 향상시키는 것.
• 기계의 수가 증가함에 따라 적응형 대비 비적응형 설정 간의 비밀유지 격차의 渐近적 행동을 탐색하는 것.

제안 방법

• 등가 매핑을 통해 지수 기반 기계의 비밀유지 분석을 일반화된 랜덤 응답(GRR)으로 환원한다.
• 모멘트 생성 함수(MGF) 기법을 사용하여 날카운 비밀유지 손실 경계를 유도하며, 수치적으로 안정된 MGF 함수 $ h_{ ho}( heta) $ 표현식을 제공한다.
• 일반화된 모멘트 회계 프레임워크를 적용하여 효율적인 계산이 가능한 개선된 적응형 복합 기준을 도출한다.
• U-함수를 통한 복합 정리의 통합적 시각을 활용하여, 제안된 경계가 이전 연구보다 더 날카롭다는 것을 보여준다.
• 고비밀유지 영역에서 부동소수점 오버플로우를 방지하기 위해 MGF의 수치적으로 안정된 재구성식을 도입한다.
• 지수 기반 기계의 유한 범위(BR) 성질을 활용하여 이전 연구자인 Durfee와 Rogers의 작업을 바탕으로 개선된 복합 기준을 유도한다.

실험 결과

연구 질문

• RQ1 모든 비밀유지 파rameter가 고정되어 있을 때, 지수 기반 기계의 적응형과 비적응형 선택 간에 비밀유지 손실 격차가 존재하는가?
• RQ2 비적응형 동일 복합 기법에서 지수 기반 기계의 최적 복합 기준을 효율적으로 계산할 수 있는가?
• RQ3 지수 기반 기계의 비밀유지 경계는 일반 DP 복합 정리와 비교해 어떤가?
• RQ4 기계의 수 $ k \to \infty $ 가 증가함에 따라 적응형 대비 비적응형 비밀유지 격차의 渐近적 행동은 어떠한가?
• RQ5 일반 DP 기계와 대비하여 지수 기반 기계의 특정 구조를 고려함으로써 복합 기준을 추가로 향상시킬 수 있는가?

주요 결과

• 고정된 비밀유지 파arameter를 가진 지수 기반 기계의 적응형과 비적응형 복합 기준 간에 엄격한 비밀유지 손실 격차가 존재하며, 이는 이전까지 어떤 DP 기계 클래스에서도 알려지지 않았던 현상이다.
• 비적응형 동일 복합 기법의 경우, 단순화된 MGF 표현식을 사용하여 최적 복합 기준의 효율적인 계산 방법을 제시한다.
• 제안된 적응형 복합 기준은 이전 결과보다 더 날카롭고, 효율적으로 계산 가능하며, 고비밀유지 영역에서 오버플로우를 방지하는 수치적으로 안정된 표현식을 갖는다.
• 지수 기반 기계의 최적 복합 기준이 일반화된 랜덤 응답 기계와 동치임을 보여주며, 더 날카운 분석이 가능하다.
• 적응형 대비 비적응형 최적 복합 기준 간 격차는 $ k \to \infty $ 에서 渐近적으로 사라질 것으로 추측되지만, 비渐近적 격차는 여전히 작다.
• 지수 기반 기계의 특정 구조를 활용하여 기존의 상한 기준을 향상시켜 일반 복합 정리보다 더 날카운 비밀유지 손실 추정치를 달성한다.