[논문 리뷰] An Incentive Mechanism for Federated Learning in Wireless Cellular network: An Auction Approach

Tra Huong Thi Le, Nguyen H. Tran외 5명|arXiv (Cornell University)|2020. 01. 01.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 4

한 줄 요약

이 논문은 무선 셀룰러 네트워크 내에서 피어드 페더레이티드 러닝(FL) 환경에서 이동 사용자를 인cent라이즈하기 위해 원시-쌍대 탐욕 경매 기반 메커니즘을 제안한다. 사용자들은 모델 훈련을 위한 최소 에너지 비용 기반으로 입찰한다. 기지국은 입찰자로서 승자 선정 및 지불액 설정을 담당하며, 진실성, 개인적 합리성, 효율성을 보장한다. 시뮬레이션 결과, 고정가격 기반 기법 대비 사회적 복지가 400% 높게 나타났다.

ABSTRACT

Federated Learning (FL) is a distributed learning framework that can deal with the distributed issue in machine learning and still guarantee high learning performance. However, it is impractical that all users will sacrifice their resources to join the FL algorithm. This motivates us to study the incentive mechanism design for FL. In this paper, we consider a FL system that involves one base station (BS) and multiple mobile users. The mobile users use their own data to train the local machine learning model, and then send the trained models to the BS, which generates the initial model, collects local models and constructs the global model. Then, we formulate the incentive mechanism between the BS and mobile users as an auction game where the BS is an auctioneer and the mobile users are the sellers. In the proposed game, each mobile user submits its bids according to the minimal energy cost that the mobile users experiences in participating in FL. To decide winners in the auction and maximize social welfare, we propose the primal-dual greedy auction mechanism. The proposed mechanism can guarantee three economic properties, namely, truthfulness, individual rationality and efficiency. Finally, numerical results are shown to demonstrate the performance effectiveness of our proposed mechanism.

연구 동기 및 목표

• 무선 셀룰러 네트워크에서 에너지 비용으로 인한 낮은 사용자 참여 문제를 해결하기 위해.
• 시스템 효율성과 일치하는 인cent라이즈를 통해 이동 사용자가 자신의 로컬 모델 업데이트 기여를 유도할 수 있도록 인센티브 메커니즘을 설계하기 위해.
• 기지국과 사용자 간의 상호작용을 경매 게임으로 모델링하여 FL 서비스 시장에서 사회적 복지를 최대화하기 위해.
• 제안된 메커니즘에서 핵심 경제적 성질인 진실성, 개인적 합리성, 계산 효율성을 확보하기 위해.

제안 방법

• 기지국을 구매자로, 이동 사용자를 판매자로 하는 조합 최적화 경매로 FL 서비스 시장을 모델링하며, 자원 요구사항과 에너지 비용 기반으로 입찰 제출.
• NP-완전한 승자 선정 문제를 낮은 계산 복잡도로 해결하기 위해 원시-쌍대 탐욕 알고리즘을 제안.
• 근사 최적 가격 벡터(fi = fo × η^1.15_i) 기반의 지불 규칙 설계. 여기서 fo는 기본 가격이며, ηi는 사용자별 효율성을 반영한다.
• 주어진 전략에 의해 진실된 보고를 보장하는 동시에 에너지 비용을 최소화하는 입찰 전략 설계.
• 소셜 복지의 하한을 유도하기 위해 분수 해석 접근법을 활용하여 최적 및 탐욕적 해법 대비 성능 평가 가능.
• 비교 평가를 위해 선형, 비선형, 초선형 가격 체계를 포함한 고정가격 벤치마크를 도입.

실험 결과

연구 질문

• RQ1 에너지 비용에도 불구하고 이동 사용자가 페더레이티드 러닝에 참여하도록 유도할 수 있는 인센티브 메커니즘은 어떻게 설계할 수 있는가?
• RQ2 무선 FL 환경에서 진실성, 개인적 합리성, 계산 효율성을 보장하는 경매 기반 메커니즘은 무엇인가?
• RQ3 제안된 경매 기반 메커니즘이 고정가격 기반 기법 대비 사회적 복지 및 자원 활용 측면에서 어떻게 비교되는가?
• RQ4 기본 가격을 다양하게 설정했을 때 고정가격 대비 적응형 경매 기반 메커니즘의 성능에 어떤 영향을 미치는가?
• RQ5 저복잡도 알고리즘이 승자 선정 과정에서 근사 최적 사회적 복지를 달성할 수 있는가?

주요 결과

• 제안된 경매 기반 메커니즘이 고정가격 기반 기법 대비 사회적 복지가 400% 높게 나타나 뚜렷한 성능 향상을 보였다.
• 탐욕적 기법의 사회적 복지는 하한보다 상당히 높으며, 사용자 수가 증가함에 따라 최적 해에 가까워진다.
• 고정가격 기반 기법은 다양한 가격 설정에서 성능이 열악하며, 최적 수준을 초과하는 기본 가격 증가에 따라 사회적 복지가 최고점에 도달한 후 감소한다.
• 제안된 메커니즘은 고정가격 기반 기법(선형, 비선형, 초선형) 전반에서 사회적 복지 측면에서 뛰어난 성능을 보였으며, 고정가격 기반 기법은 더 많은 자원과 더 많은 사용자를 활용하지만 사회적 복지는 현저히 낮다.
• 고정가격 기반 기법은 자원 활용도와 승자 비율 측면에서 높지만, 이는 사회적 복지가 크게 낮아지는 비용을 수반한다.
• 원시-쌍대 탐욕 알고리즘은 효율성과 최적성 간 균형을 효과적으로 확보하여 낮은 계산 복잡도로 근사 최적 성능을 달성한다.