[논문 리뷰] Active Membership Inference Attack under Local Differential Privacy in Federated Learning

Truc Nguyen, Phung Lai외 3명|arXiv (Cornell University)|2023. 02. 24.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 불량 서버가 글로벌 모델 가중치를 조작하여 특정 데이터 샘플이 클라이언트의 훈련 세트에 포함되어 있는지 여부를 추론할 수 있는 새로운 활성 멤버십 인식(AMI) 공격을 제안한다. 악성 파rameter를 통해 비선형 결정 경계를 통합함으로써, 엄격한 국소적 차별적 프라이버시(LDP) 보호 조건에서도 높은 성공률을 달성하며, 공식적인 프라이버시 보장에도 불구하고 심각한 프라이버시 위험을 드러낸다.

ABSTRACT

Federated learning (FL) was originally regarded as a framework for collaborative learning among clients with data privacy protection through a coordinating server. In this paper, we propose a new active membership inference (AMI) attack carried out by a dishonest server in FL. In AMI attacks, the server crafts and embeds malicious parameters into global models to effectively infer whether a target data sample is included in a client's private training data or not. By exploiting the correlation among data features through a non-linear decision boundary, AMI attacks with a certified guarantee of success can achieve severely high success rates under rigorous local differential privacy (LDP) protection; thereby exposing clients' training data to significant privacy risk. Theoretical and experimental results on several benchmark datasets show that adding sufficient privacy-preserving noise to prevent our attack would significantly damage FL's model utility.

연구 동기 및 목표

• LDP 보호 조건 하에서 데이터 특징 상관관계를 충분히 활용하지 못하는 기존 멤버십 인식 공격의 격차를 메우기 위해.
• 불량 서버가 글로벌 모델 가중치를 능동적으로 조작하여 클라이언트 데이터 멤버십을 추론하는 새로운 위협 모델을 정식화하기 위해.
• 특징 상관관계가 활용될 경우, LDP 보호 조건 하에서도 멤버십 인식 공격을 방지할 수 없다는 것을 입증하기 위해.
• 모델 유효성과 프라이버시 간의 근본적 트레이드오프를 드러내며, 강력한 프라이버시 보호가 모델 성능을 심각하게 떨어뜨린다는 것을 보여주기 위해.
• LDP 조건 하에서 AMI 공격의 성공에 대해 인증 가능한 보장을 제공함으로써, 공격의 실용성과 심각성을 강조하기 위해.

제안 방법

• 신경망 뉴런의 활성화 행동을 제어할 수 있도록 비선형 결정 경계를 구현한 악성 글로벌 모델을 설계한다.
• 목표 데이터 샘플과 비목표 샘플 간에 활성화 패턴이 크게 다른 특정 뉴런을 타겟으로 삼는다.
• 단일 훈련 반복 동안 탐지되지 않도록 최소한의 변형으로 악성 가중치를 글로벌 모델에 통합한다.
• 데이터 특징 간 상관관계를 활용하여, LDP 노이즈 조건 하에서도 목표 샘플이 일관되게 선택된 뉴런을 활성화하도록 보장한다.
• 커널 밀도 추정(KDE)을 사용하여 목표 샘플과 비목표 샘플의 활성화 분포 간 통계적 분리를 시각화하고 검증한다.
• 활성화 분포 간 통계적 발산을 바탕으로 공격의 인증 가능한 성공 보장을 정식화한다.

실험 결과

연구 질문

• RQ1 불량 서버가 페더레이티드 러닝 환경에서 글로벌 모델 가중치를 능동적으로 조작함으로써, 높은 멤버십 인식 성공률을 달성할 수 있는가?
• RQ2 특징 상관관계가 악용될 경우, 국소적 차별적 프라이버시(LDP) 보호 조치가 이러한 활성 멤버십 인식 공격을 어느 정도 완화하는가?
• RQ3 이러한 AMI 공격에 대응하기 위해 LDP를 활용한 프라이버시 보호를 시행할 경우, 모델 유효성과 프라이버시 보호 간의 트레이드오프는 어떠한가?
• RQ4 클라이언트 또는 시스템 모니터링 시스템이 통계적 이질성을 기반으로 악성 모델 가중치를 탐지할 수 있는가?
• RQ5 악성 가중치에 내장된 비선형 결정 경계는 LDP 조건 하에서도 신뢰할 수 있는 멤버십 인식을 어떻게 가능하게 하는가?

주요 결과

• 제안된 AMI 공격는 엄격한 LDP 보호 조건 하에서도 작은 프라이버시 예산(예: ε = 2, 3, 5) 조건에서도 심각할 정도로 높은 멤버십 인식 성공률을 달성한다.
• 공격는 글로벌 모델 파rameter에 대한 변경이 최소한이므로 단일 훈련 반복 내에서 실행 가능하다.
• 커널 밀도 추정 결과, 목표 샘플과 비목표 샘플의 활성화 분포 간 겹침이 크게 감소함을 확인하여, 인증 가능한 성공 보장을 뒷받침한다.
• 프라이버시 예산이 충분히 크면 특징 상관관계를 유지할 수 있어 LDP 보호 조치가 AMI 공격에 효과가 없음을 입증하며, 프라이버시 보장 조건이 훼손된다.
• 공격를 방지하기 위해 충분한 LDP 노이즈를 추가하면 모델 유효성이 심각하게 떨어지므로, FL 설계에서의 핵심적인 트레이드오프를 드러낸다.
• 악성 가중치는 정상 가중치와 통계적으로 구별되지 않아, 가중치 분포 분석을 통한 탐지가 불가능하다.