[논문 리뷰] Local Differential Privacy for Federated Learning

M.A.P. Chamikara, Dongxi Liu외 5명|arXiv (Cornell University)|2022. 02. 12.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 교차소일 산업 환경에서 연합 학습을 위한 새로운 국소적 차별적 프라이버시(LDP) 프레임워크인 LDPFL을 제안한다. 모델 가중치가 아닌 1차원으로 펼친 중간 특징 벡터에 무작위 응답과 최적화된 유니어리 인코딩을 적용함으로써, LDPFL은 엄격한 프라이버시 예산(예: ε = 0.5)에서도 높은 모델 유틸리티(최대 98% 정확도)를 달성하며, 기존의 LDP 및 GDP 방법들보다 프라이버시-유틸리티 트레이드오프에서 뛰어나다.

ABSTRACT

Advanced adversarial attacks such as membership inference and model memorization can make federated learning (FL) vulnerable and potentially leak sensitive private data. Local differentially private (LDP) approaches are gaining more popularity due to stronger privacy notions and native support for data distribution compared to other differentially private (DP) solutions. However, DP approaches assume that the FL server (that aggregates the models) is honest (run the FL protocol honestly) or semi-honest (run the FL protocol honestly while also trying to learn as much information as possible). These assumptions make such approaches unrealistic and unreliable for real-world settings. Besides, in real-world industrial environments (e.g., healthcare), the distributed entities (e.g., hospitals) are already composed of locally running machine learning models (this setting is also referred to as the cross-silo setting). Existing approaches do not provide a scalable mechanism for privacy-preserving FL to be utilized under such settings, potentially with untrusted parties. This paper proposes a new local differentially private FL (named LDPFL) protocol for industrial settings. LDPFL can run in industrial settings with untrusted entities while enforcing stronger privacy guarantees than existing approaches. LDPFL shows high FL model performance (up to 98%) under small privacy budgets (e.g., epsilon = 0.5) in comparison to existing methods.

연구 동기 및 목표

• 신뢰할 수 없는 클라이언트와 서버가 존재하는 산업용 교차소일 환경에서 확장 가능하고 프라이버시를 보장하는 FL 기법의 부족을 해결하기 위해.
• 기존 LDP 접근법의 한계를 극복하기 위해, 작은 프라이버시 예산에서의 낮은 유틸리티와 고차원 모델 매개변수 처리의 비효율성을 해결하기 위해.
• 신뢰할 수 있는 총괄자나 집계자에 의존하지 않기 때문에 글로벌 DP 방법보다 더 강력한 프라이버시 보장을 제공하기 위해.
• 모델 가중치가 아닌 중간 특징 표현에 LDP를 적용하여, 연합 학습에서의 프라이버시-유틸리티 트레이드오프를 향상시키기 위해.
• 의료 및 스마트 농업과 같이 데이터가 분산되어 있고 프라이버시가 중요한 실생활 응용 분야에 대해 실용적이고 효율적이며 견고한 솔루션을 제공하기 위해.

제안 방법

• LDPFL은 국소적으로 훈련된 딥 네트워크의 중간 출력에서 유도된 1차원으로 펼친 벡터에 국소적 차별적 프라이버시를 적용함으로써, 직접적으로 모델 매개변수를 훼손하는 대신 적용한다.
• 입력 수준에서 차별적 프라이버시를 보장하기 위해 두 가지 LDP 메커니즘인 무작위 응답(RR)과 최적화된 유니어리 인코딩(OUE)을 사용한다.
• 난이도 높은 랜덤라이제이션된 1차원 벡터 위에 두 번째 완전 연결 DNN을 훈련시킴으로써, 프라이버시를 유지하면서도 효과적인 학습을 가능하게 한다.
• 아키텍처는 클라이언트 모델을 특징 추출을 위한 CNN과 분류를 위한 DNN으로 분리하며, 무작위화 레이어는 특징 편평화 이후에 적용된다.
• 프라이버시 예산(ε)을 특징 표현에 집중시킴으로써 효율적으로 적용되며, 가중치 수준의 훼손보다 노이즈 영향을 줄여준다.
• 데이터가 원본 형태로 클라이언트 장치 외부로 나가지 않으며, 오직 랜덤라이제이션된 특징만 공유되므로, 신뢰할 수 없는 클라이언트와 서버 환경에서도 지원된다.

실험 결과

연구 질문

• RQ1 엄격한 프라이버시 예산 조건에서, LDP 메커니즘이 중간 특징 표현에 효과적으로 적용되어 유틸리티가 향상될 수 있는가?
• RQ2 LDPFL은 기존의 글로벌 및 국소 DP 방법들과 비교해 모델 정확도와 프라이버시-유틸리티 트레이드오프 측면에서 어떻게 성능을 내는가?
• RQ3 ε가 0.5에 이르는 매우 엄격한 수준에서도 LDPFL이 높은 모델 성능(예: 95% 이상 정확도)을 유지할 수 있는가?
• RQ4 가중치 수준이 아닌 특징 수준에서 LDP를 적용할 경우, 딥 러닝 기반의 연합 학습에서 더 나은 프라이버시-유틸리티 균형을 이룰 수 있는가?
• RQ5 의료나 스마트 농업과 같은 신뢰할 수 없는 교차소일 환경에서 LDPFL을 효과적으로 구현할 수 있는가? 이 경우 신뢰할 수 있는 서버가 필요하지 않다.

주요 결과

• LDPFL은 CIFAR10 및 SVHN 데이터셋에서 엄격한 프라이버시 예산 ε = 0.5 조건에서도 최대 98%의 테스트 정확도를 달성하여, 강력한 프라이버시 제약 조건 하에서도 높은 유틸리티를 입증한다.
• 기존의 LDP 기반 FL 접근법인 α-CLDP-Fed와 DPSGD보다 정확도와 프라이버시-유틸리티 균형 측면에서 뛰어나며, 특히 낮은 ε 값에서 두각을 나타낸다.
• 모델 가중치가 아닌 중간 특징을 무작위화함으로써, 고차원 매개변수 행렬에 대한 노이즈 부담을 줄여 모델 수렴과 성능 향상을 개선한다.
• 최적화된 유니어리 인코딩(OUE)과 무작위 응답(RR)의 사용은 효과적인 프라이버시 보장을 제공하면서도 학습에 필요한 충분한 비트 수준의 정보를 유지한다.
• 벤치마킹 결과, 높은 유틸리티가 요구되는 엄격한 프라이버시 설정에서 LDPFL은 SMC, GDP 및 기타 LDP 방법들보다 우선시된다.
• MNIST, FMNIST, CIFAR10, SVHN 등의 다양한 데이터셋에 대해 적응 가능하며, 다양한 입력 해상도와 모델 구성에서도 일관된 성능을 보인다.