[論文レビュー] An Incentive Mechanism for Federated Learning in Wireless Cellular network: An Auction Approach

Tra Huong Thi Le, Nguyen H. Tran+5 more|arXiv (Cornell University)|Jan 1, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 4

ひとこと要約

本稿では、無線セルラー網におけるフェデレーテッドラーニング（FL）において、モバイルユーザーの参加を促すために、プライマル・デュアル・グリーディーオークションメカニズムを提案する。ユーザーは、モデル学習に必要な最小エネルギー消費量に基づいて入札を行う。基地局はオークショナーとして機能し、当選者を決定し、支払いを設定することで、真実性、個別合理性、および効率性を保証する。シミュレーションでは、固定価格方式と比較して社会的余剰が400%高い結果を得た。

ABSTRACT

Federated Learning (FL) is a distributed learning framework that can deal with the distributed issue in machine learning and still guarantee high learning performance. However, it is impractical that all users will sacrifice their resources to join the FL algorithm. This motivates us to study the incentive mechanism design for FL. In this paper, we consider a FL system that involves one base station (BS) and multiple mobile users. The mobile users use their own data to train the local machine learning model, and then send the trained models to the BS, which generates the initial model, collects local models and constructs the global model. Then, we formulate the incentive mechanism between the BS and mobile users as an auction game where the BS is an auctioneer and the mobile users are the sellers. In the proposed game, each mobile user submits its bids according to the minimal energy cost that the mobile users experiences in participating in FL. To decide winners in the auction and maximize social welfare, we propose the primal-dual greedy auction mechanism. The proposed mechanism can guarantee three economic properties, namely, truthfulness, individual rationality and efficiency. Finally, numerical results are shown to demonstrate the performance effectiveness of our proposed mechanism.

研究の動機と目的

• 無線セルラー網におけるエネルギー消費のコストにより、ユーザー参加が低調になるという課題に対処すること。
• システム効率と一致するようにユーザーのインセンティブを調整することで、モバイルユーザーがローカルモデル更新を貢献するよう促すインcentiveメカニズムを設計すること。
• 基地局とユーザーの間の相互作用をオークションゲームとして定式化することで、FLサービス市場における社会的余剰を最大化すること。
• 提案されたメカニズムにおいて、真実性、個別合理性、計算効率といった重要な経済的性質を保証すること。

提案手法

• 基地局を買い手、モバイルユーザーを売り手とする組み合わせオークションとしてFLサービス市場をモデル化し、リソース要件とエネルギーコストに基づいた入札を提示する。
• NP困難な当選者選定問題を低計算量で解くために、プライマル・デュアル・グリーディー・アルゴリズムを提案する。
• 近似的に最適な価格ベクトル（fi = fo × η^1.15_i）に基づく支払いルールを設計し、foはベース価格、ηiはユーザー固有の効率性を表す。
• 支配戦略インcentiveを用いて、ユーザーのエネルギー消費を最小限に抑えつつ、真実の報告を保証する入札戦略を導入する。
• 分数緩和法を用いて社会的余剰の下界を導出し、最適解およびグリーディー解との性能評価を可能にする。
• 比較評価のため、線形、非線形、超線形の価格スキームを用いた固定価格ベンチマークを採用する。

実験結果

リサーチクエスチョン

• RQ1 エネルギー消費のコストがあるにもかかわらず、モバイルユーザーがフェデレーテッドラーニングに参加するよう促すインcentiveメカニズムはどのように設計できるか？
• RQ2 無線FL環境において、真実性、個別合理性、計算効率を保証するオークションメカニズムは何か？
• RQ3 提案されたオークションメカニズムは、固定価格方式と比較して、社会的余剰およびリソース利用効率においてどのように異なるか？
• RQ4 ベース価格を変化させた場合、固定価格方式と適応的オークションメカニズムの性能にどのような影響が生じるか？
• RQ5 低計算量のアルゴリズムは、当選者選定プロセスにおいて近似的に最適な社会的余剰を達成できるか？

主な発見

• 提案されたオークションメカニズムは、固定価格方式と比較して社会的余剰が400%高いことを示し、顕著な性能向上を確認した。
• グリーディー方式の社会的余剰は下界を大幅に上回っており、ユーザー数が増加するにつれて最適解に近づく傾向を示した。
• 固定価格方式は価格設定が変化する環境下で性能が著しく劣り、ベース価格が最適水準を超えると社会的余剰がピークに達した後、減少した。
• 固定価格方式のあらゆる変種（線形、非線形、超線形）と比較して、提案されたメカニズムは社会的余剰において優位であった。固定価格方式はリソースと参加ユーザー数を多く使用しているが、社会的余剰は著しく低い水準であった。
• リソース利用効率と当選率は固定価格方式の方が高かったが、これは社会的余剰が著しく低いという代償を伴った。
• プライマル・デュアル・グリーディー・アルゴリズムは、効率性と最適性のバランスを効果的にとらえ、低計算量で近似的に最適な性能を達成した。