[논문 리뷰] Hierarchical Federated Learning with Privacy

Varun Chandrasekaran, Suman Banerjee외 2명|arXiv (Cornell University)|2022. 06. 10.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 중앙 집중형 집계자에 도달하기 전에 클라이언트가 중간 수준의 슈퍼노드에 의해 집계되는 영역으로 구성되는 계층적 페더레이티드 러닝과 차별적 개인정보 보호(HDP)를 소개한다. 슈퍼노드 수준에서 캘리브레이션된 노이즈를 추가함으로써 HDP는 국지적 또는 중앙 집중적 DP보다 더 나은 프라이버시-유용성 트레이드오프를 달성하며, 중앙 집중적 DP의 모델 정확도를 유지하면서도 국지적 DP보다 더 강력한 추론 공격에 대한 저항성을 제공한다.

ABSTRACT

Federated learning (FL), where data remains at the federated clients, and where only gradient updates are shared with a central aggregator, was assumed to be private. Recent work demonstrates that adversaries with gradient-level access can mount successful inference and reconstruction attacks. In such settings, differentially private (DP) learning is known to provide resilience. However, approaches used in the status quo (\ie central and local DP) introduce disparate utility vs. privacy trade-offs. In this work, we take the first step towards mitigating such trade-offs through {\em hierarchical FL (HFL)}. We demonstrate that by the introduction of a new intermediary level where calibrated DP noise can be added, better privacy vs. utility trade-offs can be obtained; we term this {\em hierarchical DP (HDP)}. Our experiments with 3 different datasets (commonly used as benchmarks for FL) suggest that HDP produces models as accurate as those obtained using central DP, where noise is added at a central aggregator. Such an approach also provides comparable benefit against inference adversaries as in the local DP case, where noise is added at the federated clients.

연구 동기 및 목표

• 차별적 개인정보 보호(DP) 하에서 페더레이티드 러닝(FL)의 본질적인 프라이버시-유용성 트레이드오프를 해결하기 위해, 특히 중앙 집중적 또는 국지적 DP 메커니즘이 최적의 모델 유용성으로 이어지지 않을 경우를 대비한다.
• 클라이언트가 영역으로 묶이고 슈퍼노드에 의해 집계되는 계층적 아키텍처를 도입함으로써 프라이버시-유용성 트레이드오프를 향상시키고 공식적인 DP 보장을 유지할 수 있는지 탐색한다.
• 노이즈를 슈퍼노드 수준에 주입함으로써, 기존의 FL에서의 DP 접근 방식에 비해 프라이버시를 강화하고 모델 유용성을 향상시키는 새로운 메커니즘인 계층적 DP(HDP)를 공식화한다.
• 다양한 신뢰 수준(예: 슈퍼노드 또는 중앙 집계자)의 적대자에 대한 복원 및 추론 공격에 대한 HDP의 저항성을 평가한다.
• 클라이언트 샘플링 비율(k) 및 영역 구조와 같은 시스템 파라미터가 프라이버시와 모델 유용성에 미치는 영향을 분석한다.

제안 방법

• 클라이언트가 영역으로 묶이고, 각 영역을 관리하는 슈퍼노드가 클라이언트 기울기를 집계한 후 중앙 집계자에게 전달하는 계층적 FL 아키텍처를 제안한다.
• 캘리브레이션된 가우시안 노이즈를 슈퍼노드 수준에 추가하여, 영역 수준에서 DP 보장을 보장하는 계층적 차별적 개인정보 보호(HDP)를 도입한다.
• 가우시안 메커니즘의 조합 가능성을 활용하여 프라이버시를 증폭한다: 이미 노이즈가 추가된 기울기가 집계되므로, 중앙 집계자 수준에서의 효과적 프라이버시 손실이 감소한다.
• 개별 클라이언트 기울기가 노출되지 않도록 슈퍼노드 수준에서 보안 집계를 구현하여, 복원 공격자에 대한 공격 표면을 줄인다.
• 다중 수준 집계 환경에 맞게 표준 DP 계정 방법을 수정하여, 여러 수준의 집계를 거쳐도 공식적인 프라이버시 예산(ε) 추적을 가능하게 한다.
• 실용성과 낮은 런타임 오버헤드를 확보하기 위해 슈퍼노드 선출 및 보안 집계의 최신 구현 기법을 활용한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝에 중간 수준의 슈퍼노드 계층을 도입함으로써, 중앙 집중적 또는 국지적 DP에 비해 프라이버시-유용성 트레이드오프를 향상시킬 수 있는가?
• RQ2 모델 정확도 및 추론 및 복원 공격에 대한 저항성 측면에서, 계층적 DP(HDP)는 국지적 DP 및 중앙 집중적 DP에 비해 어떻게 비교되는가?
• RQ3 영역 구조와 클라이언트 샘플링 비율(k)이 HDP에서 최종 모델의 프라이버시와 유용성에 미치는 영향은 무엇인가?
• RQ4 특히 가우시안 메커니즘의 조합 가능성을 통해, 계층적 집계 과정을 통해 프라이버시 증폭을 달성할 수 있는가?
• RQ5 다양한 위협 모델(예: 슈퍼노드 또는 중앙 집계자 수준의 적대자)이 HDP에서 정보 泄露에 미치는 영향은 무엇이며, HDP는 이러한 위협에 대응할 수 있는가?

주요 결과

• HDP는 노이즈가 중앙 집계자 수준에 추가되는 중앙 집중적 DP(CDP)와 유사한 모델 정확도를 달성하면서도, 국지적 DP(LDP)보다 더 강력한 프라이버시 보장을 제공한다.
• HDP는 국지적 DP와 유사한 추론 공격에 대한 방어력을 보이지만, 훨씬 뛰어난 모델 유용성을 제공하므로 가능할 경우 선호되는 대안이 된다.
• 계층적 아키텍처는 프라이버시 증폭을 가능하게 한다: 영역 수(s)가 총 클라이언트 수(k)보다 작을 경우, 중앙 집계자는 오직 집계된 노이즈가 추가된 기울기만 수신하므로 효과적 프라이버시 손실이 감소한다.
• CIFAR-10, CIFAR-100 및 EMNIST 데이터셋에서의 실험 결과, 온라인 클라이언트 수(k) 증가가 모델 정확도에 거의 영향을 주지 않음을 확인하여, 클라이언트 샘플링 변동에 대한 강건성을 입증한다.
• 보안 집계와 노이즈 주입 덕분에, 악성 클라이언트가 슈퍼노드로 선출된 경우조차도 슈퍼노드 수준의 복원 공격을 효과적으로 차단한다.
• 수동 공격자(데이터 복원을 목적으로 하는 자)를 포함한 다양한 위협 모델 하에서도 HDP는 강건성을 유지하며, 슈퍼노드가 무작위로 선정되고 시간이 지남에 따라 교체될 경우 정보 泄露가 감소하는 것으로 나타났다.