[논문 리뷰] Differentially Private Federated Bayesian Optimization with Distributed Exploration

Zhongxiang Dai, Bryan Kian Hsiang Low외 1명|arXiv (Cornell University)|2021. 10. 27.

Privacy-Preserving Technologies in Data참고 문헌 69인용 수 15

한 줄 요약

이 논문은 사용자 수준의 프라이버시를 보장하면서 유티리티를 향상시키기 위해 차별적 프라이버시를 분산 탐색과 융합한, 차별적 프라이버시 보장이 가능한 연합 베이지안 최적화 프레임워크인 DP-FTS-DE를 제안한다. 검색 공간을 하위 영역으로 분할하고, 에이전트들이 적응형 가중치를 통해 국지적으로 탐색할 수 있도록 함으로써, 탐색 효율성을 향상시키고 일반 DP 프레임워크를 통해 강력한 프라이버시 보장을 유지하며, 실제 실험에서 유리한 프라이버시-유티리티 트레이드오프를 달성한다.

ABSTRACT

Bayesian optimization (BO) has recently been extended to the federated learning (FL) setting by the federated Thompson sampling (FTS) algorithm, which has promising applications such as federated hyperparameter tuning. However, FTS is not equipped with a rigorous privacy guarantee which is an important consideration in FL. Recent works have incorporated differential privacy (DP) into the training of deep neural networks through a general framework for adding DP to iterative algorithms. Following this general DP framework, our work here integrates DP into FTS to preserve user-level privacy. We also leverage the ability of this general DP framework to handle different parameter vectors, as well as the technique of local modeling for BO, to further improve the utility of our algorithm through distributed exploration (DE). The resulting differentially private FTS with DE (DP-FTS-DE) algorithm is endowed with theoretical guarantees for both the privacy and utility and is amenable to interesting theoretical insights about the privacy-utility trade-off. We also use real-world experiments to show that DP-FTS-DE achieves high utility (competitive performance) with a strong privacy guarantee (small privacy loss) and induces a trade-off between privacy and utility.

연구 동기 및 목표

• 연합 톰슨 샘플링(FTS)에서의 엄밀한 프라이버시 보장 부족 문제를 해결하기 위해, 연합 베이지안 최적화 분야에서 최신 기술인 FTS의 프라이버시 보장을 강화하고자 한다.
• 실용적 유티리티와 협업의 이점을 유지하면서, FTS에 차별적 프라이버시(DP)를 통합하고자 한다.
• 국소화된 하위 영역에 걸쳐 분산 탐색을 가능하게 하여, 연합 BO에서의 탐색 효율성을 향상시키고자 한다.
• 이론적 프라이버시 보장을 유지하면서도(일반 DP 프레임워크를 통해), 에이전트 기여도에 대한 적응형 가중치를 통해 성능을 향상시키는 방법을 개발하고자 한다.
• 다양한 실제 응용 분야에서 제안된 방법의 프라이버시-유티리티 트레이드오프 및 강인성을 실증적으로 검증하고자 한다.

제안 방법

• 논문은 일반 DP 프레임워크와 호환되도록 FTS를 수정하여, 각 반복마다 표본 추출된 가우시안 메커니즘을 적용함으로써 차별적 프라이버시를 보장한다.
• 전역 검색 공간을 P개의 국지 하위 영역으로 분할하고, 각 에이전트에게 초기에 하나의 하위 영역을 할당함으로써 분산 탐색(DE)을 도입한다.
• 중앙 서버는 각 하위 영역별로 별도로 정보를 집계하며, 해당 하위 영역을 탐색하도록 할당된 에이전트의 기여도를 우선시하는 적응형 가중치를 사용한다. 가중치는 시간이 지남에 따라 점차 균일해진다.
• 이 방법은 일반 DP 프레임워크가 서로 다른 파라미터 벡터를 처리할 수 있음을 활용하여, 각 하위 영역의 집계된 벡터를 별개의 파라미터 벡터로 간주함으로써 프라이버시 보장을 유지한다.
• 더 작은 국소 영역에서의 모델 정확도와 탐색 효율성을 향상시키기 위해, 각 하위 영역에서 국소 가우시안 프로세스(GP) 서로가를 사용한다.
• 획득 함수는 L-BFGS-B를 통해 최적화되며, 도메인 전역에서 균일한 샘플링과 함께 랜덤 리스타트를 적용하여 최소한의 계산 오버헤드를 유도한다.

실험 결과

연구 질문

• RQ1 차별적 프라이버시가 엄밀한 이론적 보장을 유지하면서 연합 톰슨 샘플링(FTS)에 효과적으로 통합될 수 있는가?
• RQ2 분산 탐색(DE)이 차별적 프라이버시 보장 연합 베이지안 최적화의 유티리티에 어떤 영향을 미치는가?
• RQ3 차별적 프라이버시 환경에서 적응형 대비 비적응형 가중치 설계가 DP-FTS-DE의 성능에 미치는 영향은 어떠한가?
• RQ4 하위 영역 수(P)가 DP-FTS-DE의 프라이버시-유티리티 트레이드오프에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실제 연합 하이퍼파rameter 튜닝 및 최적화 작업에서 강력한 프라이버시 보장과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• DP-FTS-DE는 실제 실험에서 강력한 프라이버시 보장을 유지하면서도 경쟁 가능한 성능을 달성하여, 유리한 프라이버시-유티리티 트레이드오프를 보여주었다.
• 분산 탐색의 도입은 특히 초기 최적화 단계에서 더 효과적인 국소 탐색을 가능하게 하여 유티리티를 크게 향상시켰다.
• 적응형 가중치 설계가 비적응형 설계보다 우수한 성능을 보였으며, 특히 최적화가 진행됨에 따라 다수의 하위 영역을 탐색한 에이전트의 정보를 더 잘 활용할 수 있었기 때문이다.
• 하위 영역 수(P=2,3,4,6)와 가중치 설정의 변화에 대해 강인성을 유지하여 안정성과 실용성을 입증하였다.
• Rényi DP 변형은 표준 DP와 유사한 유티리티를 유지하면서 약간 더 낮은 프라이버시 손실을 기록하여, 더 엄밀한 프라이버시 회계 기법에 대한 잠재적 가능성을 시사한다.
• DP와 DE로 인한 계산 오버헤드는 극히 미미하며, 서버의 추가 비용은 O(PNq) 수준이며 에이전트에 대한 영향은 최소한이다.