[논문 리뷰] Shuffle Private Stochastic Convex Optimization

Albert Cheu, Matthew Joseph외 2명|arXiv (Cornell University)|2021. 06. 17.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 6

한 줄 요약

이 논문은 유한한 $β$-노름을 가진 벡터의 비공개 합산을 위한 새로운 비상호작용 셰플 프로토콜을 활용하여 로컬 모델 대비 유의미하게 향상된 유용성을 달성하는 상호작용적 셰플 개인 정보 보호 스토하스틱 볼록 최적화 프로토콜을 소개한다. 이를 미니배치 SGD, 가속 경사 하강법, 네스테로프의 스무딩과 통합함으로써 저자들은 중심 모델 성능에 도달하거나 근접하는 손실 한계를 확보한다. 특히 완전히 상호작용적인 설정에서 그러한 성능을 달성한다.

ABSTRACT

In shuffle privacy, each user sends a collection of randomized messages to a trusted shuffler, the shuffler randomly permutes these messages, and the resulting shuffled collection of messages must satisfy differential privacy. Prior work in this model has largely focused on protocols that use a single round of communication to compute algorithmic primitives like means, histograms, and counts. We present interactive shuffle protocols for stochastic convex optimization. Our protocols rely on a new noninteractive protocol for summing vectors of bounded $\ell_2$ norm. By combining this sum subroutine with mini-batch stochastic gradient descent, accelerated gradient descent, and Nesterov's smoothing method, we obtain loss guarantees for a variety of convex loss functions that significantly improve on those of the local model and sometimes match those of the central model.

연구 동기 및 목표

• 스토하스틱 볼록 최적화에서 로컬 모델과 중심 모델 간의 유용성 격차를 해소하기 위해.
• 강력한 프라이버시를 유지하면서 기존 로컬 모델 대비 유용성을 향상시키는 실용적인 순차적 상호작용 셰플 개인 정보 보호 프로토콜을 개발하기 위해.
• 유한한 $β$-노름을 가진 벡터의 비공개 합산을 위한 비상호작용 셰플 프로토콜을 설계하여 더 정확한 기울기 추정을 가능하게 하기 위해.
• 셰플 모델을 상호작용 프로토콜(순차적 및 완전 상호작용)을 지원하도록 확장하여 볼록 최적화에 활용하기 위해.
• 셰플 프라이버시 하에서 볼록, 미분 가능, 강력 볼록 손실 함수에 대해 날카운 비용-유용성 보장을 도출하기 위해.

제안 방법

• 차원이 $d$인 벡터의 합산을 위한 비상호작용 셰플 프로토콜을 제안하며, $Ø_2$-노름이 $L$ 이하인 경우에 대해 다수의 무작위 메시지를 사용하여 프라이버시를 강화하고 노이즈 분산을 감소시킨다.
• 셰플 모델에서 $(\u0005, δ)$-차별적 프라이버시를 확보하기 위해 가우시안 메커니즘을 통해 노이즈를 추가한 미니배치 스토하스틱 경사 하강법을 적용한다.
• 비미분 가능 볼록 함수를 다루기 위해 네스테로프의 스무딩 방법을 적용하여 수렴 속도를 감소시키지만 프라이버시를 유지한다.
• 완전 상호작용 모델에서 가속 경사 하강법을 적용하여 볼록 함수에 대해 최적의 $O(\sqrt{d}/(\varepsilon n))$ 손실을 달성한다.
• 기울기 및 매개변수 갱신에 대해 별도의 노이즈 주입을 수행하는 이중 단계 프로토콜을 설계하여, 후처리 및 복합성 원칙을 통해 종단 간 프라이버시를 보장한다.
• 다중 라운드에 걸친 프라이버시 손실을 제한하기 위해 셰플링에 의한 프라이버시 강화와 고급 복합 정리(advanced composition theorem)를 활용한다.

실험 결과

연구 질문

• RQ1 상호작용적 셰플 프로토콜은 스토하스틱 볼록 최적화에서 중심 모델 성능에 더 가까운 유용성을 달성할 수 있는가?
• RQ2 기존 연구 대비 더 낮은 노이즈 분산을 갖는 비상호작용 셰플 프로토콜을 어떻게 설계할 수 있는가? 이는 유한한 노름을 가진 벡터의 비공개 합산을 위해이다.
• RQ3 셰플 모델 하에서 볼록, 미분 가능, 강력 볼록 손실 함수에 대해 달성 가능한 최고의 프라이버시-유용성 트레이드오프는 무엇인가?
• RQ4 가속 및 스무딩 기법은 셰플 모델에 어떻게 적응시켜 프라이버시 제약 하에서 수렴 속도를 향상시킬 수 있는가?
• RQ5 순차적 프로토콜과 완전 상호작용 프로토콜 간의 선택은 셰플 개인 정보 보호 최적화에서 최종 유용성에 어떤 영향을 미치는가?

주요 결과

• 제안된 비상호작용 셰플 프로토콜은 기존 방법 대비 유의미하게 낮은 노이즈 분산을 달성하여 더 정확한 기울기 추정을 가능하게 한다.
• 볼록 손실 함수에 대해 순차적 상호작용 프로토콜은 손실 $O(d^{1/3}/(\varepsilon^{2/3}n^{2/3}))$ 을 달성하며, 이는 로컬 모델의 $O(\sqrt{d}/(\varepsilon\sqrt{n}))$ 보다 향상된 성능이다.
• 완전 상호작용 모델에서 볼록 함수의 손실은 중심 모델의 최적 속도인 $O(\sqrt{d}/(\varepsilon n))$ 과 일치한다.
• 강력 볼록 및 미분 가능한 함수에 대해 완전 상호작용 프로토콜은 $O(d/\varepsilon^2 n^2)$ 손실을 달성하며, 이는 중심 모델의 최적 속도와 일치한다.
• 노이즈 기울기 추정기의 분산은 $O(L^2/b + dL^2 \log(1/\delta)/(b^2 \varepsilon^2))$ 이하로 제한되며, 이는 날카운 유용성 분석을 가능하게 한다.
• 프로토콜 설계는 다중 라운드 상호작용 동안에도 신중한 노이즈 주입과 복합성 원칙을 통해 $(\varepsilon, \delta)$-차별적 프라이버시를 보장한다.