[논문 리뷰] Toward Robustness and Privacy in Federated Learning: Experimenting with Local and Central Differential Privacy.

Mohammad Naseri, Jamie Hayes외 1명|arXiv (Cornell University)|2020. 09. 08.

Privacy-Preserving Technologies in Data참고 문헌 111인용 수 54

한 줄 요약

이 논문은 페더레이티드 러닝에서 백도어, 멤버십, 소유성 추론 공격에 대비한 국소 및 중심 차별적 프라이버시(LDP/CDP)를 평가한다. 두 DP 변형 모두 백도어 공격과 화이트박스 멤버십 공격을 완화하면서 모델 유틸리티를 유지하는 것으로 나타났지만, 소유성 추론 공격에는 대비하지 못하며, 프라이버시-유틸리티-내공성의 상호보완적 관계를 분석하기 위한 재사용 가능한 프레임워크를 확립한다.

ABSTRACT

Federated Learning (FL) allows multiple participants to collaboratively train machine learning models by keeping their datasets local and exchanging model updates. Recent work has highlighted weaknesses related to robustness and privacy in FL, including backdoor, membership and property inference attacks. In this paper, we investigate whether and how Differential Privacy (DP) can be used to defend against attacks targeting both robustness and privacy in FL. To this end, we present a first-of-its-kind experimental evaluation of Local and Central Differential Privacy (LDP/CDP), assessing their feasibility and effectiveness. We show that both LDP and CDP do defend against backdoor attacks, with varying levels of protection and utility, and overall more effectively than non-DP defenses. They also mitigate white-box membership inference attacks, which our work is the first to show. Neither, however, defend against property inference attacks, prompting the need for further research in this space. Overall, our work also provides a re-usable measurement framework to quantify the trade-offs between robustness/privacy and utility in differentially private FL.

연구 동기 및 목표

• 차별적 프라이버시(DP)가 페더레이티드 러닝(FL)에서 프라이버시와 내공성을 동시에 향상시킬 수 있는지 조사하기 위해.
• 국소 차별적 프라이버시(LDP)와 중심 차별적 프라이버시(CDP)가 페더레이티드 러닝에서 악성 공격에 대비하여 얼마나 효과적인지 비교하기 위해.
• 다양한 DP 설정 하에서 모델 유틸리티, 프라이버시, 내공성 간의 상호보완적 관계를 평가하기 위해.
• 차별적 프라이버시 기반 페더레이티드 러닝에서의 프라이버시-유틸리티-내공성 상호보완적 관계를 정량화하기 위한 재사용 가능한 측정 프레임워크를 구축하기 위해.

제안 방법

• 클라이언트 측에서 모델 업데이트에 노이즈를 추가함으로써 국소 차별적 프라이버시(LDP)를 적용한다.
• 서버 측에서 글로벌 모델 집합 과정에 노이즈를 추가함으로써 중심 차별적 프라이버시(CDP)를 적용한다.
• 특정 공격 유형에 대한 방어 성능을 평가하기 위해 벤치마크 FL 데이터셋에서 통제된 실험을 수행한다.
• 공격 성공률, 모델 정확도, 프라이버시 손실 등의 표준 지표를 사용하여 상호보완적 관계를 정량화한다.
• DP 기반 방어와 비-DP 기반 베이스라인을 체계적으로 비교하기 위한 통합 평가 프레임워크를 도입한다.
• 화이트박스 멤버십 추론 및 소유성 추론 공격을 사용하여 DP 보호 모델의 내공성을 시험한다.

실험 결과

연구 질문

• RQ1 국소 및 중심 차별적 프라이버시가 페더레이티드 러닝에서 백도어 공격에 효과적으로 대비할 수 있는가?
• RQ2 LDP와 CDP는 페더레이티드 러닝에서 화이트박스 멤버십 추론 공격을 얼마나 효과적으로 완화하는가?
• RQ3 LDP와 CDP는 페더레이티드 러닝에서 소유성 추론 공격에 얼마나 효과적으로 대비하는가?
• RQ4 DP를 페더레이티드 러닝에 적용할 경우 모델 유틸리티, 프라이버시, 내공성 간의 상호보완적 관계는 어떠한가?

주요 결과

• LDP와 CDP는 모두 백도어 공격에 효과적으로 대비하며, CDP는 일반적으로 LDP보다 더 강력한 보호를 제공한다.
• LDP와 CDP는 화이트박스 멤버십 추론 공격의 성공률을 크게 감소시키며, 이는 논문에서 새롭게 규명된 발견이다.
• LDP 또는 CDP는 소유성 추론 공격에 대해 의미 있는 방어를 제공하지 못하며, 현재 DP 기반 방어의 핵심적 격차를 시사한다.
• 제안된 프레임워크를 통해 차별적 프라이버시 기반 페더레이티드 러닝에서의 프라이버시-유틸리티-내공성 상호보완적 관계를 체계적으로 정량화할 수 있다.
• DP 기반 방어는 비-DP 기반 방어보다 내공성과 프라이버시 측면에서 뛰어나지만, 모델 유틸리티가 감소하는 비용이 수반된다.
• 결과적으로 동일한 프라이버시 예산 하에서 CDP는 LDP보다 더 우수한 유틸리티-프라이버시 균형을 달성하는 것으로 나타났다.