[論文レビュー] Toward an Automated Auction Framework for Wireless Federated Learning Services Market

Yutao Jiao, Ping Wang+3 more|arXiv (Cornell University)|Dec 13, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用数 9

ひとこと要約

本稿では、社会的厚生を最大化するために、逆多次元オークション（RMA）および深層強化学習ベースのオークション（DRLA）メカニズムを用いた、無線フェデレーテッドラーニング（FL）サービスの自動オークションフレームワークを提案する。DRLAメカニズムは、グラフニューラルネットワークと深層強化学習を統合することで、無線制約およびデータ品質を考慮しながら、ワーカー選定と支払いを最適化し、RMAおよびベンチマークより高い社会的厚生を達成する。

ABSTRACT

In traditional machine learning, the central server first collects the data owners' private data together and then trains the model. However, people's concerns about data privacy protection are dramatically increasing. The emerging paradigm of federated learning efficiently builds machine learning models while allowing the private data to be kept at local devices. The success of federated learning requires sufficient data owners to jointly utilize their data, computing and communication resources for model training. In this paper, we propose an auction based market model for incentivizing data owners to participate in federated learning. We design two auction mechanisms for the federated learning platform to maximize the social welfare of the federated learning services market. Specifically, we first design an approximate strategy-proof mechanism which guarantees the truthfulness, individual rationality, and computational efficiency. To improve the social welfare, we develop an automated strategy-proof mechanism based on deep reinforcement learning and graph neural networks. The communication traffic congestion and the unique characteristics of federated learning are particularly considered in the proposed model. Extensive experimental results demonstrate that our proposed auction mechanisms can efficiently maximize the social welfare and provide effective insights and strategies for the platform to organize the federated training.

研究の動機と目的

• プライバシー上の懸念やリソース制約によるデータ所有者の参加意欲を高める課題に対処する。
• 多様なデータ所有者を有する無線FL市場において、社会的厚生を最大化するオークションメカニズムを設計する。
• オークション設計において真実性、個別合理性、計算効率といった経済的性質を確保する。
• 通信混雑や非対称なチャネル状態といった無線特有の制約をオークションモデルに統合する。
• 深層強化学習およびグラフニューラルネットワークを用いた自動的で戦略的非対応のメカニズムを開発し、性能を向上させる。

提案手法

• データサイズ、EMD（エアス・ムーバーズ・ディスタンス）、無線チャネル需要を主な属性として考慮する逆多次元オークション（RMA）メカニズムを設計する。
• 実世界の実験に基づくデータ品質関数を導入し、データサイズとEMDをモデル精度にマッピングすることで、ワーカー貢献の公平な評価を可能にする。
• グラフニューラルネットワークを用いてワーカーが報告するタイプの特徴を抽出し、最適な割り当てポリシーを学習する深層強化学習ベースのオークション（DRLA）メカニズムを開発する。
• 蓄積された社会的厚生に基づく報酬信号を用いてDRLAエージェントを訓練し、数百のミニバッチの学習後、安定した高性能な戦略に収束させる。
• 支払いルールおよび割り当て論理の慎重な設計により、RMAおよびDRLAメカニズムの両方で真実性と個別合理性を確保する。
• 通信混雑による切断の可能性や非対称なアップリンク速度を含む、現実的な制約を想定した無線環境をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータ所有者を有する無線フェデレーテッドラーニング市場において、社会的厚生を最大化するオークションメカニズムはどのように設計できるか？
• RQ2 FLオークションメカニズムにおいて維持すべき主要な経済的性質（真実性、個別合理性、計算効率）は何か？
• RQ3 データサイズとEMDで測定されるデータ品質は、どのように効果的にモデル化され、オークションメカニズムに統合できるか？
• RQ4 深層強化学習およびグラフニューラルネットワークは、グリーディーやルールベースのメカニズムと比較して、社会的厚生をどの程度向上できるか？
• RQ5 チャネル混雑や非対称なアップリンク速度といった無線制約は、オークションのパフォーマンスおよびワーカー選定にどのように影響を与えるか？

主な発見

• DRLAメカニズムは、数百のミニバッチの学習後、安定した高性能に素早く収束し、RMAメカニズムを上回る社会的厚生を達成する。
• RMAおよびDRLAメカニズムの両方において、データ所有者の数が増加するにつれて社会的厚生は上昇するが、追加参加者による限界利得の減少により、その増加率は減少する。
• プラットフォームのデータ品質の閾値（d_maxの上昇またはσ_maxの低下）を引き上げることで、十分な高品質なデータ所有者が確保されている限り、社会的厚生が向上する。
• DRLAメカニズムは、高価値のワーカーを順次選定する傾向があるため、RMAに比べて公平性が低い。
• [44]で提示されたベンチマークスケジューリングオークションメカニズムは、データ品質および無線制約を無視しているため、RMAおよびDRLAの両者を下回る社会的厚生を達成しており、特化したFLオークション設計の必要性を裏付けている。
• RMAメカニズムにおけるグループ数（G）の増加は、高品質なデータ所有者の特定を改善し、低品質な貢献者への依存を減らすことで、社会的厚生を向上させる。