[논문 리뷰] One-shot Empirical Privacy Estimation for Federated Learning

Galen Andrew, Peter Kairouz외 4명|arXiv (Cornell University)|2023. 02. 06.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 재학습이나 모델 아키텍처, 데이터, DP 알고리즘에 대한 사전 지식 없이 단일 학습 런 동안 사용자 수준의 차별적 프라이버시(DP) 이psilon을 추정할 수 있는 one-shot 경험적 프라이버시 추정 방법을 제안한다. 무작위 업데이트를 가진 여러 캐니비어 클라이언트를 삽입함으로써, 유한한 계산 부담으로 가우스 메커니즘 하에서 증명 가능하게 정확한 프라이버시 손실을 효율적으로 추정할 수 있으며, 이는 이전의 다중 런 접근 방식보다 정확도와 효율성에서 뛰어나다.

ABSTRACT

Privacy estimation techniques for differentially private (DP) algorithms are useful for comparing against analytical bounds, or to empirically measure privacy loss in settings where known analytical bounds are not tight. However, existing privacy auditing techniques usually make strong assumptions on the adversary (e.g., knowledge of intermediate model iterates or the training data distribution), are tailored to specific tasks, model architectures, or DP algorithm, and/or require retraining the model many times (typically on the order of thousands). These shortcomings make deploying such techniques at scale difficult in practice, especially in federated settings where model training can take days or weeks. In this work, we present a novel "one-shot" approach that can systematically address these challenges, allowing efficient auditing or estimation of the privacy loss of a model during the same, single training run used to fit model parameters, and without requiring any a priori knowledge about the model architecture, task, or DP training algorithm. We show that our method provides provably correct estimates for the privacy loss under the Gaussian mechanism, and we demonstrate its performance on well-established FL benchmark datasets under several adversarial threat models.

연구 동기 및 목표

• 기존 피드포워드 러닝에서의 프라이버시 감사 기술이 재학습 수천 번이 필요하고 적대자 또는 모델에 대한 강한 가정을 수반하는 등 확장성과 실용성에 한계가 있다는 점을 해결하기 위해.
• 모델 아키텍처, 작업, 데이터 분포에 대한 사전 지식 없이도 단일 학습 런 동안 효율적인 프라이버시 추정을 가능하게 하기 위해.
• 비독립적 동일분포(iid) 데이터나 제한된 클라이언트 참여가 있는 복잡한 실제 피드포워드 러닝 환경에서도 가우스 메커니즘 하에서 프라이버시 손실을 증명 가능하게 정확히 추정하기 위해.
• 모델에 종속되지 않고 다양한 피드포워드 러닝 응용 분야에 일반적으로 적용 가능하도록, 맞춤화나 비용이 많이 드는 캐니비어 제작 없이 적용 가능한 일반 목적의 방법을 제공하기 위해.

제안 방법

• 각각 무작위 모델 업데이트를 가진 독립적인 여러 캐니비어 클라이언트를 피드포워드 학습 과정에 삽입하여 클라이언트 기여도를 시뮬레이션한다.
• 최종 모델과 각 캐니비어의 업데이트 간의 내적 곱을 사용하여 멤버십 추론 가능성의 정도를 추정하고, 이를 프라이버시 손실의 대체 지표로 활용한다.
• 모든 캐니비어에 대해 이러한 내적 곱의 분포를 분석하여 프라이버시 파라미터 ε를 추정하며, 가우스 메커니즘의 통계적 성질을 활용한다.
• 반복적인 재학습을 피하는 one-shot 추정 프레임워크를 적용하여, 모델 최적화에 사용되는 동일한 학습 런 동안 프라이버시 감사를 수행할 수 있도록 한다.
• 다른 학습 동역학 상황에서도 추정치의 강건성과 일관성을 검증하기 위해, 관측된(보이는) 및 관측하지 못한(보이지 않는) 캐니비어를 모두 활용한다.
• 모델 또는 데이터에 특화된 캐니비어 제작을 피함으로써 최소한의 계산 부담을 확보하고, 작업, 모델, 데이터셋에 관계없이 중립적인 방법을 확보한다.

실험 결과

연구 질문

• RQ1 재학습이 없이도 단일 학습 런을 통해 피드포워드 러닝에서 사용자 수준의 차별적 프라이버시를 경험적으로 추정할 수 있는가?
• RQ2 기존의 다중 런 프라이버시 감사 기술과 비교해 볼 때, 제안된 one-shot 방법은 정확도와 효율성 면에서 어떻게 다른가?
• RQ3 캐니비어 수가 변하거나 학습 동역학이 이상화된 가정에서 벗어나도 이 방법은 얼마나 강건한가?
• RQ4 분석적 경계가 없더라도, 비독립적 동일분포가 아닌 데이터, 비균일한 클라이언트 샘플링, 비등방성 노이즈 등으로 인한 프라이버시 泄露를 이 방법이 탐지할 수 있는가?
• RQ5 분석적 경계가 느슨하거나 존재하지 않는 환경에서, 이 방법이 추정한 ε 값은 실제 프라이버시 손실과 얼마나 관련이 있는가?

주요 결과

• 통제된 환경에서 이 방법은 분석적 ε 경계(예: 6.76 대 34.5)에 훨씬 더 가까운 추정치를 제공하며, CANIFE 방법(0.879)보다 훨씬 뛰어난 정확도를 보였다.
• 단일 런에서 1000개의 캐니비어를 사용할 경우, 각각 100개의 캐니비어로 10회의 런을 수행한 결과와 거의 동일한 프라이버시 추정치를 얻었으며, 다양한 캐니비어 수에 대해 일관성과 강건성을 입증했다.
• 50회의 실험에서 추정된 ε 값의 분포는 안정적이며, 노이즈 배수나 캐니비어 구성에 관계없이 변동이 최소한이었다.
• 학습 과정이 이상화된 i.i.d. 가정에서 벗어나도 가우스 메커니즘 하에서 증명 가능하게 정확한 추정치를 도출할 수 있었다.
• 모델에 특화된 또는 데이터에 특화된 캐니비어 제작이 필요 없어 계산 부담이 극히 적으며, 다양한 피드포워드 러닝 시스템에 널리 적용 가능했다.
• StackOverflow 및 패션 MNIST 데이터셋에 대한 실증 결과는, 모델 성능 저하 없이도 신뢰할 수 있는 단일 런 프라이버시 추정이 가능하다는 것을 확인했다.