[논문 리뷰] Privacy Analysis of Online Learning Algorithms via Contraction Coefficients.

Shahab Asoodeh, Mario Díaz외 1명|arXiv (Cornell University)|2020. 12. 20.

Privacy-Preserving Technologies in Data참고 문헌 90인용 수 6

한 줄 요약

이 논문은 $f$-divergence에서 유도된 압축 계수를 사용하여 온라인 학습 알고리즘의 차별적 프라이버시를 분석하기 위한 정보이론적 프레임워크를 제안한다. 도브루시닌의 압축 계수를 $E_\gamma$-divergence로 일반화함으로써 약한 차별적 프라이버시와 등가인 $E_\gamma$-divergence를 정의함으로써 프라이버시 파rameter를 직접 계산할 수 있게 되었으며, 이는 경사 하강법에 적용되었고, 단일 패assing 배치 학습 알고리즘에도 적용 가능하다.

ABSTRACT

We propose an information-theoretic technique for analyzing privacy guarantees of online algorithms. Specifically, we demonstrate that differential privacy guarantees of iterative algorithms can be determined by a direct application of contraction coefficients derived from strong data processing inequalities for $f$-divergences. Our technique relies on generalizing the Dobrushin's contraction coefficient for total variation distance to an $f$-divergence known as $E_\gamma$-divergence. $E_\gamma$-divergence, in turn, is equivalent to approximate differential privacy. As an example, we apply our technique to derive the differential privacy parameters of gradient descent. Moreover, we also show that this framework can be tailored to batch learning algorithms that can be implemented with one pass over the training dataset.

연구 동기 및 목표

• 반복적인 온라인 학습 알고리즘에서의 프라이버시를 정량화하기 위한 일반적인 정보이론적 방법을 개발하는 것.
• f-divergence의 압축 계수와 차별적 프라이버시 보장 간의 관계를 수립하는 것.
• 약한 차별적 프라이버시와 관련된 $E_\gamma$-divergence로 도브루시닌의 압축 계수를 일반화하는 것.
• 온라인 환경에서 경사 하강법에 대해 구체적인 프라이버시 파rameter를 유도하기 위해 프레임워크를 적용하는 것.
• 학습 데이터를 한 번만 처리하는 온라인 학습 알고리즘으로 이 방법을 확장하는 것.

제안 방법

• f-divergence에 대한 강력한 데이터 처리 부등식을 사용하여 반복적 알고리즘에서의 프라이버시 손실을 근사한다.
• 약한 차별적 프라이버시와 관련된 특정 f-divergence인 $E_\gamma$-divergence로 도브루시닌의 압축 계수를 일반화한다.
• 압축 계수는 입력 분포 간의 발산 감소를 측정함으로써 반복 간에 얼마나 많은 프라이버시가 유지되는지를 정량화한다.
• 학습 알고리즘의 업데이트 규칙에 대한 압축 계수 분석을 통해 프라이버시 파rameter를 계산하는 프레임워크를 구성한다.
• 업데이트 메커니즘을 마르코프 전이로 모델링함으로써 온라인 및 단일 패assing 배치 학습 알고리즘 모두에 적용 가능한 방법이다.
• 복잡한 조합 정리가 필요 없이 $(\varepsilon, \delta)$-차별적 프라이버시 파rameter를 직접 유도할 수 있다.

실험 결과

연구 질문

• RQ1 f-divergence의 압축 계수는 온라인 학습 알고리즘에서 프라이버시를 어떻게 정량화하는가?
• RQ2 $E_\gamma$-divergence와 약한 차별적 프라이버시 간의 관계는 무엇인가?
• RQ3 일반화된 압축 계수 프레임워크는 경사 하강법에 적용되어 날카로운 프라이버시 경계를 도출할 수 있는가?
• RQ4 이 방법은 한 번의 패assing으로 처리되는 배치 학습 알고리즘으로 얼마나 넓게 확장될 수 있는가?
• RQ5 기존의 조합 기반 프라이버시 분석 기법과 비교해 이 프레임워크는 얼마나 날카롭고 일반적인가?

주요 결과

• $E_\gamma$-divergence가 약한 차별적 프라이버시와 등가임을 입증하여 정보이론적 측정과 프라이버시 보장 간의 직접적인 연결을 가능하게 하였다.
• $E_\gamma$-divergence의 압축 계수는 반복적인 온라인 학습 알고리즘에서의 프라이버시 손실에 대해 날카로운 경계를 제공한다.
• 압축 계수를 사용하여 프레임워크가 성공적으로 경사 하강법에 대해 $(\varepsilon, \delta)$-차별적 프라이버시 파rameter를 도출하였다.
• 학습 데이터를 한 번만 처리할 수 있는 배치 학습 알고리즘으로도 이 방법을 일반화할 수 있다.
• 순차적 조합 정리가 필요 없어, 더 직접적이고 잠재적으로 날카로운 프라이버시 분석을 가능하게 한다.
• 강력한 데이터 처리 부등식의 사용으로 학습 알고리즘에 대한 비점근적이고 분포에 의존하지 않는 프라이버시 분석이 가능해졌다.