[논문 리뷰] Incentive Design for Efficient Federated Learning in Mobile Networks: A Contract Theory Approach

Jiawen Kang, Zehui Xiong외 4명|arXiv (Cornell University)|2019. 05. 16.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 34

한 줄 요약

이 논문은 정보 비대칭과 자원 비용을 다루며, 고품질 데이터를 가진 모바일 기기가 연합학습에 참여하도록 장려하는 인센티브 메커니즘을 설계하기 위해 계약이론을 사용합니다. MNIST 실험을 통해 학습 효율성 향상과 실현 가능성을 보입니다.

ABSTRACT

To strengthen data privacy and security, federated learning as an emerging machine learning technique is proposed to enable large-scale nodes, e.g., mobile devices, to distributedly train and globally share models without revealing their local data. This technique can not only significantly improve privacy protection for mobile devices, but also ensure good performance of the trained results collectively. Currently, most the existing studies focus on optimizing federated learning algorithms to improve model training performance. However, incentive mechanisms to motivate the mobile devices to join model training have been largely overlooked. The mobile devices suffer from considerable overhead in terms of computation and communication during the federated model training process. Without well-designed incentive, self-interested mobile devices will be unwilling to join federated learning tasks, which hinders the adoption of federated learning. To bridge this gap, in this paper, we adopt the contract theory to design an effective incentive mechanism for simulating the mobile devices with high-quality (i.e., high-accuracy) data to participate in federated learning. Numerical results demonstrate that the proposed mechanism is efficient for federated learning with improved learning accuracy.

연구 동기 및 목표

• 고품질 로컬 데이터를 가진 모바일 기기가 정보 비대칭 하에 연합학습에 참여하도록 동기 부여합니다.
• 데이터 품질을 계약 유형으로 모델링하고 자원-보상 번들을 설계합니다.
• 데이터 소유자의 참여와 진실성 확보를 보장하면서 데이터 발주자의 이익을 극대화합니다.

제안 방법

• 연합학습을 발주자와 데이터 소유자가 존재하는 독점상태로 모델링합니다.
• 데이터 품질을 계약 유형 p_theta_n으로 정의하고 계약 번들 (R_n(f_n), f_n)을 공식화합니다.
• 개별 합리성(IR) 및 유인 호환성(IC) 제약을 부과하고 이를 로컬 하향 유인 제약 LDIC로 변환합니다.
• 시간 및 예산 제약 하에서 CVX를 통해 볼록 최적화 문제를 해결하여 최적의 보상 R_n과 CPU 자원 f_n을 도출합니다.
• 완화된 문제를 풀고 단조성을 강제하면 실행 가능한 계약이 도출되고 Stackelberg 모델보다 발주자 이익이 더 높아진다는 것을 보입니다.

실험 결과

연구 질문

• RQ1 연합학습에서 이질적인 데이터 품질을 가진 데이터 소유자를 위한 인센티브를 계약이론으로 어떻게 설계할 수 있는가?
• RQ2 데이터 품질(유형) 및 자원 기여가 최적 계약과 시스템 전체 이익에 미치는 영향은 무엇인가?
• RQ3 시간 및 예산 한도 하에서 IR 및 IC 제약을 만족시키면서 발주자의 이익을 극대화할 수 있는가?

주요 결과

• 계약 기반 인센티브 메커니즘은 고품질 데이터를 더 끌어들이고 연합학습의 효율성을 향상시킵니다.
• 제안된 계약으로 IR 및 IC 제약이 만족되며 데이터 소유자들은 자신에게 지정된 계약만 선택합니다.
• 발주자의 이익은 더 많은 데이터 소유자 유형에서 증가하며 계약 모델이 Stackelberg 게임 모델보다 높습니다.
• 로컬 데이터 정확도의 상한을 증가시키면(고품질 유형의 비율 증가) 발주자의 이익이 증가합니다.
• 제안된 방법은 대칭 정보 Stackelberg 벤치마크보다 높은 이익을 달성하면서도 데이터 소유자 효용을 비음수로 유지합니다.