[논문 리뷰] Incentives for Federated Learning: a Hypothesis Elicitation Approach

Yang Liu, Jiaheng Wei|arXiv (Cornell University)|2020. 07. 21.

Privacy-Preserving Technologies in Data참고 문헌 53인용 수 15

한 줄 요약

이 논문은 연합 학습에서 국소 머신 러닝 모델의 정직한 보고를 유도하기 위해 가설 유도 기반의 점수 규칙 프레임워크를 제안한다. 베이지안 내쉬 균형과 피어 예측을 활용하여, 저품질 또는 허위 가설에 대해 점점 감소하는 보상을 부여함으로써, MNIST 및 CIFAR-10에서의 검증을 통해 오류 보고 및 악성 공격에 대한 강건성을 확보한다.

ABSTRACT

Federated learning provides a promising paradigm for collecting machine learning models from distributed data sources without compromising users' data privacy. The success of a credible federated learning system builds on the assumption that the decentralized and self-interested users will be willing to participate to contribute their local models in a trustworthy way. However, without proper incentives, users might simply opt out the contribution cycle, or will be mis-incentivized to contribute spam/false information. This paper introduces solutions to incentivize truthful reporting of a local, user-side machine learning model for federated learning. Our results build on the literature of information elicitation, but focus on the questions of eliciting hypothesis (rather than eliciting human predictions). We provide a scoring rule based framework that incentivizes truthful reporting of local hypotheses at a Bayesian Nash Equilibrium. We study the market implementation, accuracy as well as robustness properties of our proposed solution too. We verify the effectiveness of our methods using MNIST and CIFAR-10 datasets. Particularly we show that by reporting low-quality hypotheses, users will receive decreasing scores (rewards, or payments).

연구 동기 및 목표

• 자기 이득을 추구하는 사용자가 연합 학습 시스템에서 국소로 훈련된 머신 러닝 모델을 정직하게 기여하도록 유도하는 문제를 해결하기 위해.
• 기본 진술 검증 없이도 고품질 가설에 보상하고 저품질 또는 허위 보고에 대해 처벌하는 지급 메커니즘을 설계하기 위해.
• 기본 진술 검증이 있는지 여부에 관계없이 베이지안 내쉬 균형에서 정직한 보고가 지배 전략이 되도록 보장하기 위해.
• 실제 연합 학습 환경에서의 오류 보고 행동과 악성 공격에 대한 강건성을 평가하기 위해.
• 중앙 집중식 레이블 수집이 필요 없이 연합 학습 파이프라인에 인cent라이브를 통합하기 위한 일반적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 정확한 점수 규칙을 사용하여 참조(기본 진술 레이블 또는 피어 예측)와 비교해 보고된 가설을 평가하는 점수 규칙 프레임워크를 제안한다.
• 합리적인 에이전트가 정직한 보고를 선택하는 것이 지배 전략이 되도록 보장하기 위해 베이지안 내쉬 균형 프레임워크를 활용한다.
• 두 가지 보상 구조를 도입한다: 0-1 점수(일반화된 비교)와 교차 엔트로피(CE) 점수로, 모두 잘못된 또는 낮은 신뢰도 예측에 대해 처벌하도록 설계되었다.
• 기본 진술이 없는 경우, 피어 예측을 대체 레이블로 사용하여 확률적 상관관계 가정 하에 피어 예측 유사 메커니즘을 구현한다.
• 이행 행렬(균일 및 희소)을 사용하여 사용자 불확실성 또는 의도적 기만을 시뮬레이션함으로써 오류 보고 행동을 모델링한다.
• LinfPGD 공격을 사용하여 변형된 입력을 생성하고 예측 결과를 가중 평균으로 조합하여 손상된 검증을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 기본 진술이 없더라도 자율적인 사용자가 자발적으로 머신 러닝 가설을 정직하게 보고하도록 유도할 수 있는 점수 규칙를 설계할 수 있는가?
• RQ2 기본 진술 레이블이 없을 경우 피어 예측에 의존하여 정직한 보고를 어떻게 확보할 수 있는가?
• RQ3 제안된 메커니즘이 오류 보고, 공모, 악성 공격에 대해 어느 정도 강건한가?
• RQ4 다른 점수 규칙(0-1 대비 CE)이 가설 보고의 정확성과 인센티브 일치에 어떤 영향을 미치는가?
• RQ5 사용자 오류 보고 비율(예: 0.1에서 0.5)이 다양할 경우, 시스템이 고품질 모델을 유도하는 데 어떤 영향을 미치는가?

주요 결과

• 제안된 점수 규칙 프레임워크는 사용자가 자기 이득을 추구하고 오류 보고를 할 수 있음에도 불구하고, 베이지안 내쉬 균형에서 정직한 보고를 보장한다.
• 기본 진술 검증이 있는 경우, CE 점수가 0-1 점수보다 MNIST 및 CIFAR-10 양쪽에서 정확한 가설 보고를 유도하는 데서 항상 뛰어나다.
• 기본 진술이 없는 환경에서는 피어 예측 기반 메커니즘이 강력한 성능을 유지하며, 희소 오류 보고 모델 하에서 오류 보고 비율이 오롯이 약간 증가할 뿐이다.
• 30%의 악성 사용자와 변형된 입력이 존재하는 악성 조건 하에서도 메커니즘은 평균 점수 편차 ±0.3을 유지하여 공격에도 불구하고 안정성을 확보한다.
• 균일 오류 보고 모델 하에서(ε=0.25), 0-1 점수는 CE 점수 대비 25% 높은 오류 보고 비율을 보이며, CE 점수의 우월한 강건성을 입증한다.
• 5회 반복 실험에서 점수의 중심 경향성은 최대 0.3의 평균 편차를 보이며, 중간 정도의 변동성은 있으나 시험 간 일관된 성능 추세를 보인다.