[논문 리뷰] Source Inference Attacks in Federated Learning

Hongsheng Hu, Zoran Salčić외 3명|arXiv (Cornell University)|2021. 09. 13.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 4

한 줄 요약

이 논문은 연합 학습에서 신뢰할 만한 그러나 호기심 많은 서버가 로컬 모델 예측 손실을 분석함으로써 주어진 훈련 예제를 기여한 클라이언트를 추론하는 소스 추론 공격(SIAs)을 제안한다. 이 공격는 FL 프로토콜을 위반하지 않으면서도 높은 정확도—최대 75.1%의 공격 성공률(ASR)—를 달성하여, 소스 기밀성은 멤버십 추론을 초월해 중요한데도 간과된 위협임을 드러낸다.

ABSTRACT

Federated learning (FL) has emerged as a promising privacy-aware paradigm that allows multiple clients to jointly train a model without sharing their private data. Recently, many studies have shown that FL is vulnerable to membership inference attacks (MIAs) that can distinguish the training members of the given model from the non-members. However, existing MIAs ignore the source of a training member, i.e., the information of which client owns the training member, while it is essential to explore source privacy in FL beyond membership privacy of examples from all clients. The leakage of source information can lead to severe privacy issues. For example, identification of the hospital contributing to the training of an FL model for COVID-19 pandemic can render the owner of a data record from this hospital more prone to discrimination if the hospital is in a high risk region. In this paper, we propose a new inference attack called source inference attack (SIA), which can derive an optimal estimation of the source of a training member. Specifically, we innovatively adopt the Bayesian perspective to demonstrate that an honest-but-curious server can launch an SIA to steal non-trivial source information of the training members without violating the FL protocol. The server leverages the prediction loss of local models on the training members to achieve the attack effectively and non-intrusively. We conduct extensive experiments on one synthetic and five real datasets to evaluate the key factors in an SIA, and the results show the efficacy of the proposed source inference attack.

연구 동기 및 목표

• 기존 멤버십 추론 공격를 초월하여, 훈련 예제를 기여한 클라이언트를 특정하는 소스 기밀성—즉, 기여자 식별—에 대한 연합 학습 기밀성의 격차를 메우기 위해 연구한다.
• FL 프로토콜을 수정하거나 모델 성능을 떨어뜨리지 않으면서도 서버가 소스 정보를 추론할 수 있음을 입증한다.
• 비독립 동일 분포가 아닌 데이터 분포와 다양한 클라이언트 수를 포함한 다양한 FL 설정에서 소스 추론의 효과성을 평가한다.
• 차별적 프라이버시가 방어 수단으로서의 효과를 탐색하며, 모델 유틸리티와 공격 완화 사이의 상당한 트레이드오프를 드러낸다.

제안 방법

• 공격는 베이지안 관점에서 수립되며, 로컬 모델 예측 손실을 바탕으로 데이터 샘플의 기원에 대한 사후 확률을 모델링한다.
• 서버는 주어진 훈련 예제에 대해 각 로컬 모델의 예측 손실을 계산하고 이를 바탕으로 기여한 가장 가능성이 높은 클라이언트를 추정한다.
• 이 방법은 비침습적이며, 모델 업데이트나 통신을 수정하지 않으며, 오직 기존의 FL 통신 패턴을 활용한다.
• 공격는 하나의 합성 데이터셋과 다섯 개의 실세계 데이터셋(예: Location 및 CIFAR-10 포함)을 대상으로 평가되었으며, 데이터 왜곡(α), 클라이언트 수(K), 로컬 에포크 수(E) 등의 변수를 다양하게 설정하여 수행되었다.
• 차별적 프라이버시를 방어 수단으로 적용하여 그 유효성을 시험하였으며, 기밀성과 모델 유틸리티의 균형을 맞추기 위해 하이퍼파라미터를 조정하였다.

실험 결과

연구 질문

• RQ1 연합 학습에서 서버가 프로토콜을 위반하지 않고도 특정 훈련 예제를 기여한 클라이언트를 추론할 수 있는가?
• RQ2 데이터의 비독립 동일 분포 및 모델의 일반화 능력이 소스 추론 공격의 성공에 어떤 영향을 미치는가?
• RQ3 클라이언트 수, 로컬 훈련 에포크 수, 데이터 왜곡 정도가 소스 추론 정확도에 어떤 영향을 미치는가?
• RQ4 차별적 프라이버시가 모델 유틸리티를 심각하게 떨어뜨리지 않고도 소스 추론 공격에 효과적으로 대응할 수 있는가?

주요 결과

• 표준 FL 설정 하에서 Location 데이터셋에서는 평균 공격 성공률(ASR)이 75.1%로 나타났고, CIFAR-10에서는 55.2%였다.
• 공격의 성공은 로컬 모델의 일반화 능력과 로컬 데이터 분포의 다양성과 강하게 상관되어 있었다.
• 데이터가 매우 비독립 동일 분포일 경우(낮은 α), 공격 성능이 증가하여 데이터 왜곡이 소스 누출을 증가시킨다는 점을 시사했다.
• 차별적 프라이버시를 적용한 결과, Location에서는 ASR가 55.1%로 감소했고, CIFAR-10에서는 24.4%로 떨어졌지만, 테스트 정확도는 각각 71.2%에서 12.3%로, 68.3%에서 10.0%로 크게 하락했다.
• 결과적으로 기존의 차별적 프라이버시는 모델 유틸리티가 심각하게 떨어지기 때문에 SIAs에 대해 효과적인 방어 수단로 기능하지 못하며, 더 나은 기밀성 보장 메커니즘이 필요함을 시사했다.