[논문 리뷰] Subject Membership Inference Attacks in Federated Learning

Anshuman Suri, Pallika Kanani외 2명|arXiv (Cornell University)|2022. 06. 07.

Privacy-Preserving Technologies in Data인용 수 15

한 줄 요약

이 논문은 정확한 훈련 기록에 접근할 수 없음에도 불구하고 특정 개인의 데이터가 훈련에 사용되었는지 여부를 추론할 수 있는 주제 소속 관계 유추 공격을 크로스실 피어드 페더레이티드 러닝 환경에서 제안한다. 공격자는 손실 임계값 기반 공격과 훈련 라운드 동안의 모델 업데이트를 활용하는 두 가지 블랙박스 공격을 제안하며, 주어진 주제 분포에 대한 지식이 제한된 상태에서도 높은 성공률을 기록함으로써 기존 페더레이티드 러닝 개인정보 보호 모델의 심각한 개인정보 유출 위험을 드러낸다.

ABSTRACT

Privacy attacks on Machine Learning (ML) models often focus on inferring the existence of particular data points in the training data. However, what the adversary really wants to know is if a particular individual's (subject's) data was included during training. In such scenarios, the adversary is more likely to have access to the distribution of a particular subject than actual records. Furthermore, in settings like cross-silo Federated Learning (FL), a subject's data can be embodied by multiple data records that are spread across multiple organizations. Nearly all of the existing private FL literature is dedicated to studying privacy at two granularities -- item-level (individual data records), and user-level (participating user in the federation), neither of which apply to data subjects in cross-silo FL. This insight motivates us to shift our attention from the privacy of data records to the privacy of data subjects, also known as subject-level privacy. We propose two novel black-box attacks for subject membership inference, of which one assumes access to a model after each training round. Using these attacks, we estimate subject membership inference risk on real-world data for single-party models as well as FL scenarios. We find our attacks to be extremely potent, even without access to exact training records, and using the knowledge of membership for a handful of subjects. To better understand the various factors that may influence subject privacy risk in cross-silo FL settings, we systematically generate several hundred synthetic federation configurations, varying properties of the data, model design and training, and the federation itself. Finally, we investigate the effectiveness of Differential Privacy in mitigating this threat.

연구 동기 및 목표

• 여러 조직에 분산된 개인 데이터가 포함된 크로스실 피어드 페더레이티드 러닝 환경에서 데이터 주체의 개인정보 보호에 미치는 격차를 해결한다.
• 실제 공격자가 특정 데이터 레코드가 아니라 개인을 대상으로 하는 경향이 있음을 인지하여, 항목 수준나 사용자 수준의 개인정보 보호가 아닌 주제 수준의 개인정보 보호가 필요하다는 점을 인식한다.
• 모델 예측과 주제 분포에서의 제한된 샘플만을 이용할 수 있는 가정 하에 주제 수준의 개인정보 보호를 위한 블랙박스 유추 공격을 개발한다.
• 다양한 합성 피어딩 구성에서 주제 소속 관계 유추 위험을 체계적으로 평가하여 영향을 미치는 주요 요인을 규명한다.
• 크로스실 피어드 페더레이티드 러닝 환경에서 주제 수준의 소속 관계 유추 위협을 완화하는 데에 차별적 프라이버시의 효과성을 평가한다.

제안 방법

• 최종 글로벌 모델에서 타겟 주제의 데이터 샘플에 대한 손실을 계산하고, 이 손실 값이 학습된 임계값 이하에 속하는지 여부를 확인하여 소속 여부를 추론하는 손실-임계값 공격을 제안한다.
• 여러 훈련 라운드 동안 주제 샘플의 손실 변화를 추적하여 훈련 데이터에 포함된 것으로 나타나는 패턴을 탐지하는 손실-라운드 간 공격을 도입한다.
• 그림자 모델이나 광범위한 재학습이 필요 없도록, 알려진 포함/비포함 주제의 소수의 샘플을 사용하여 임계값 파rameter를 조정한다.
• 특정 주제의 데이터로 훈련된 모델은 그 주제의 데이터에 대해 비포함된 주제보다 낮은 손실을 보일 것이라는 가설을 활용한다.
• 각 훈련 라운드 후의 글로벌 모델 예측에 접근 가능하므로, 정직하지만 호기심 많은 서버 또는 참가자 위협 모델에서도 공격가능성을 확보한다.
• 실세계 데이터셋과 합성 피어딩에 공격를 적용하여 다양한 데이터, 모델 및 피어딩 구성 조건에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 정확한 훈련 기록에 접근할 수 없음에도 불구하고, 특정 데이터 주체의 데이터가 페더레이티드 러닝 훈련에 사용되었는지 여부를 공격자가 얼마나 정확하게 추론할 수 있는가?
• RQ2 주제 소속 관계 유추 공격의 성능은 다양한 데이터 분포, 모델 아키텍처 및 피어딩 구성 조건에서 어떻게 달라지는가?
• RQ3 최종 모델만을 사용하는 방법에 비해, 훈련 라운드 동안의 모델 업데이트는 주제 소속 관계 유추 정확도를 얼마나 향상시키는가?
• RQ4 차별적 프라이버시는 크로스실 피어드 페더레이티드 러닝 환경에서 주제 수준의 소속 관계 유추 위협을 얼마나 효과적으로 완화하는가?
• RQ5 시스템 수준의 요소들(예: 데이터 분포, 모델 크기, 클라이언트 수 등) 중에서 페더레이티드 러닝 환경에서 주제 개인정보 위험에 가장 크게 영향을 미치는 것은 무엇인가?

주요 결과

• 제안된 주제 소속 관계 유추 공격는 매우 높은 성공률을 기록하며, 포함/비포함 주제의 알려진 샘플 수가 소수일 뿐만 아니라 정확한 훈련 데이터에 접근할 수 없음에도 강력한 성능을 보였다.
• 손실-라운드 간 공격는 최종 모델만을 사용하는 손실-임계값 공격보다 뚜렷이 뛰어나며, 시간에 따른 모델 행동을 활용함으로써 다양한 구성 조건에서 검출 정확도가 향상됨을 보였다.
• 주제 개인정보 위험은 데이터 분포 특성, 모델 용량, 참여 클라이언트 수에 매우 민감하며, 더 중심화되거나 편향된 데이터 설정일수록 더 높은 위험이 관찰되었다.
• 차별적 프라이버시는 주제 소속 관계 유추 위험을 측정 가능한 정도로 완화하지만, 전체적으로는 제거하지 못하며 특히 고성능 또는 낮은 노이즈 환경에서는 더욱 그렇다.
• 공격자는 타겟 주제의 분포에서 몇 개의 샘플만을 접근할 수 있는 상태에서도 공격가능성을 유지하므로, 주제 수준의 개인정보 보호는 중요한 위협 표면이지만 여전히 충분히 보호되지 않은 영역임을 시사한다.
• 합성 피어딩 실험을 통해 클라이언트 간 데이터 겹침과 모델 수렴 패턴이 주제 소속 여부의 강력한 지표임을 규명하였으며, 기존의 소속 관계 유추 외에도 새로운 공격 벡터가 존재할 수 있음을 시사한다.