[논문 리뷰] DP-SIGNSGD: When Efficiency Meets Privacy and Robustness

Lingjuan Lyu|arXiv (Cornell University)|2021. 05. 11.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 4

한 줄 요약

이 논문은 통신 효율성, 바이러스적 저항성, 강력한 프라이버시 보장을 동시에 달성하기 위해 기울기 부호 압축과 철저하게 校정된 국소적 차별적 프라이버시(LDP) 노이즈를 결합한 새로운 분산 학습 방법인 DP-SIGNSGD를 제안한다. 이 방법은 수렴 정확도를 향상시키기 위해 오차 피드백(EF-DP-SIGNSGD)을 통합하여 동일한 데이터 분포(균일 및 비균일)와 최대 40%의 바이러스적 공격자 존재 조건에서도 견고한 성능을 보인다.

ABSTRACT

Federated learning (FL) has emerged as a promising collaboration paradigm by enabling a multitude of parties to construct a joint model without exposing their private training data. Three main challenges in FL are efficiency, privacy, and robustness. The recently proposed SIGNSGD with majority vote shows a promising direction to deal with efficiency and Byzantine robustness. However, there is no guarantee that SIGNSGD is privacy-preserving. In this paper, we bridge this gap by presenting an improved method called DP-SIGNSGD, which can meet all the aforementioned properties. We further propose an error-feedback variant of DP-SIGNSGD to improve accuracy. Experimental results on benchmark image datasets demonstrate the effectiveness of our proposed methods.

연구 동기 및 목표

• 분산 학습에서 효율성, 프라이버시, 바이러스적 저항성을 동시에 달성하는 데 도전하는 데 목적이 있다.
• SIGNSGD와 같은 기존 방법들은 강력한 효율성과 저항성을 보이지만 공식적인 프라이버시 보장이 부족한 점을 메우기 위함이다.
• 이국적 및 악성 환경에서의 분산 학습 설정에서도 국소적 차별적 프라이버시(LDP)를 유지하면서 수렴성과 정확도를 확보하는 방법을 설계하는 것.
• SIGNSGD에 오차 피드백을 통합하여 프라이버시나 통신 효율성을 희생시키지 않고도 모델 정확도를 향상시키는 것.

제안 방법

• 기울기의 부호 연산을 수행하기 전에 보정된 노이즈를 국소 기울기에 적용하여 (ϵ, δ)-국소적 차별적 프라이버시를 확보한다.
• 노이즈가 첨가된 기울기에 대해 부호 연산을 적용함으로써 통신 효율성을 확보하고, 전체 정밀도 방법 대비 대역폭을 32배 감소시킨다.
• 서버에서 다수결 투표 집계 전략을 사용하여 최대 50%의 악성 참여자에 대비한 바이러스적 저항성을 확보한다.
• 양자화 오차를 상쇄하고 수렴 정확도를 향상시키기 위해 오차 피드백 메커니즘(EF-DP-SIGNSGD)을 통합한다.
• 이론적 분석을 통해 DP-SIGNSGD가 (ϵ, δ)-LDP를 만족하며, 프라이버시 예산 ϵ이 프라이버시와 유효성 간의 트레이드오프를 제어함을 입증한다.
• 메서드는 MNIST 및 CIFAR-10에서 클라이언트당 클래스 수의 다양성과 다양한 바이러스적 공격 시나리오를 고려해 평가된다.

실험 결과

연구 질문

• RQ1 분산 학습에서 기반 부호 압축 방법이 통신 효율성이나 저항성을 희생시키지 않고 공식적인 프라이버시 보장을 달성할 수 있는가?
• RQ2 보정된 노이즈의 추가가 기반 부호 기반 분산 학습에서 수렴성과 모델 정확도에 어떤 영향을 미치는가?
• RQ3 DP-SIGNSGD는 특히 부정 기울기 공격자에 대해 어느 정도의 성능 유지를 유지할 수 있는가?
• RQ4 오차 피드백 통합이 DP-SIGNSGD의 정확도를 뚜렷이 향상시키면서도 프라이버시와 저항성을 유지하는가?
• RQ5 프라이버시 예산 ϵ이 DP-SIGNSGD에서 프라이버시와 모델 성능 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• EF-DP-SIGNSGD는 ϵ=2 및 δ=10−5 조건에서 MNIST에서 92.84%의 테스트 정확도를 달성하여 동일한 프라이버시 예산에서 DP-SIGNSGD를 1% 이상 초월한다.
• DP-SIGNSGD는 40%의 클라이언트가 바이러스적 공격자일 경우에도 안정적인 성능을 유지하여 부정 기울기 공격자에 대한 강력한 저항성을 입증한다.
• ϵ=1 및 δ=10−5 조건에서 EF-DP-SIGNSGD는 MNIST에서 91.50%의 정확도를 달성하여, 프라이버시 보장 학습이 수렴성을 훼손하지 않음을 보여준다.
• 전체 정밀도 FedAvg 대비 라운드당 통신 비용을 32배 감소시켜 경쟁 가능한 정확도를 유지한다.
• 이론적 분석을 통해 DP-SIGNSGD가 (ϵ, δ)-국소적 차별적 프라이버시를 만족함을 확인하여 공식적인 프라이버시 보장을 제공한다.
• 실증 결과는 EF-DP-SIGNSGD가 다양한 데이터셋과 공격 시나리오에서 DP-SIGNSGD 및 표준 SIGNSGD를 일관되게 능가함을 보여준다.