[논문 리뷰] An Exploratory Analysis on Users' Contributions in Federated Learning

Jiyue Huang, Rania Talbi외 4명|arXiv (Cornell University)|2020. 11. 13.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 4

한 줄 요약

이 논문은 피드포워드 학습에서 악성 사용자 기여를 탐지하고 완화하기 위한 인cent리브 메커니즘을 탐구하며, 특히 레이블 뒤집기 공격를 통해 이를 다룹니다. 세 가지 기여 측정 방법(샤플리 값, 영향도, 신뢰도)을 평가하여, 계산 효율성과 저품질 업데이트 식별 능력 사이의 상충 관계를 보여주며, 샤플리 값이 악성 조건 하에서 이론적 기대와 가장 잘 일치하는 것으로 나타났습니다.

ABSTRACT

Federated Learning is an emerging distributed collaborative learning paradigm adopted by many of today's applications, e.g., keyboard prediction and object recognition. Its core principle is to learn from large amount of users data while preserving data privacy by design as collaborative users only need to share the machine learning models and keep data locally. The main challenge for such systems is to provide incentives to users to contribute high-quality models trained from their local data. In this paper, we aim to answer how well incentives recognize (in)accurate local models from honest and malicious users, and perceive their impacts on the model accuracy of federated learning systems. We first present a thorough survey on two contrasting perspectives: incentive mechanisms to measure the contribution of local models by honest users, and malicious users to deliberately degrade the overall model. We conduct simulation experiments to empirically demonstrate if existing contribution measurement schemes can disclose low-quality models from malicious users. Our results show there exists a clear tradeoff among measurement schemes in terms of the computational efficiency and effectiveness to distill the impact of malicious participants. We conclude this paper by discussing the research directions to design resilient contribution incentives.

연구 동기 및 목표

• 피드포워드 학습에서 인센티브 메커니즘이 정직한 사용자 기여와 모델 품질을 떨어뜨리는 악성 사용자 기여를 어떻게 식별하는지 분석하는 것.
• 특히 레이블 뒤집기 공격를 포함한 악성 행동이 모델 정확도와 기여 측정 신뢰성에 미치는 영향을 조사하는 것.
• 기여 측정 기법(샤플리 값, 영향도, 신뢰도)이 악성 참가자가 제공하는 저품질 모델 업데이트를 탐지하는 데 어떻게 평가되는지 평가하는 것.
• 인센티브 메커니즘을 악용하는 프리라이딩 및 기타 모델 품질을 목표로 하지 않는 공격을 탐지하는 데 있어 연구 격차를 식별하는 것.
• 피드포워드 학습 시스템에서 공격에 대응하고 내성적인 인센티브 메커니즘을 설계하기 위한 향후 연구 방향을 제안하는 것.

제안 방법

• 정직한 기여자에 대한 인센티브 메커니즘과 성능을 떨어뜨리는 악성 행동을 둘러싼 대조적인 두 가지 관점의 문헌 조사를 수행한다.
• 딥 레이어 이미지 분류기의 피드포워드 학습을 통해 레이블 뒤집기 공격이 모델 정확도에 미치는 영향을 평가하기 위한 시뮬레이션 실험을 실시한다.
• 세 가지 기여 측정 기법(샤플리 값, 영향도 함수, 신뢰도 기반 스코링)을 적용하여 모델 업데이트 품질을 평가한다.
• 각 사용자의 업데이트가 모델 손실에 기여하는 마진널 기여도를 측정하여, 각 지표가 악성 참가자를 얼마나 잘 탐지하는지 평가한다.
• 원시 데이터 폭로 없이도 모델 업데이트를 통합할 수 있도록 보안적 집계를 사용하여 기밀성을 유지하면서도 중앙 집중식 평가가 가능하게 한다.
• 공격 강도(레이블 뒤집기 수준) 변화에 따라 지표를 비교하여 내성성과 계산 비용을 평가한다.

실험 결과

연구 질문

• RQ1 기존 기여 측정 기법은 피드포워드 학습에서 악성 사용자가 제공하는 저품질 모델 업데이트를 얼마나 잘 탐지하는가?
• RQ2 악성 조건 하에서 인센티브 메커니즘의 계산 효율성과 탐지 효과성 사이에 존재하는 상충 관계는 무엇인가?
• RQ3 레이블 뒤집기 및 프리라이딩과 같은 다양한 공격 전략은 피드포워드 학습에서 기여 측정의 신뢰성에 어떤 영향을 미치는가?
• RQ4 샤플리 값, 영향도, 신뢰도 지표가 악성 기여를 식별하는 데 있어 이론적 기대와 얼마나 잘 일치하는가?
• RQ5 인센티브 메커니즘을 공격하는 새로운 공격 벡터는 무엇이며, 이를 어떻게 탐지하거나 완화할 수 있는가?

주요 결과

• 기여 측정 기법들 사이에는 계산 효율성과 탐지 효과성 사이에 명확한 상충 관계가 존재하며, 샤플리 값은 비용이 더 높지만 가장 정확한 탐지 성능을 보였다.
• 레이블 뒤집기 수준이 다양할수록 샤플리 값이 영향도 및 신뢰도보다 악성 사용자를 더 잘 탐지하며, 이론적 일관성이 가장 높았다.
• 레이블 뒤집기 공격는 모델 정확도를 심각하게 떨어뜨리며, 특히 신뢰도 및 영향도와 같은 덜 정교한 지표에서는 탐지에서 빠질 수 있다.
• 실제 학습 없이 가짜 업데이트를 제출하는 프리라이딩 공격는 여전히 거의 탐색되지 않았지만, 인센티브 정당성에 심각한 위협을 가한다.
• 기존 지표들은 공격 강도가 중간 수준일 경우 정직한 저품질 업데이트와 악성 기여를 구분하는 데 어려움을 겪는다.
• 블록체인 기반 기여 기록은 추적 가능성을 향상시키며, 검증 가능한 파rameter 기록을 통해 악성 사용자 탐지가 가능하게 한다.