[論文レビュー] Joint Service Pricing and Cooperative Relay Communication for Federated Learning

Shaohan Feng, Dusit Niyato+3 more|arXiv (Cornell University)|Nov 29, 2018

Privacy-Preserving Technologies in Data参考文献 4被引用数 9

ひとこと要約

本稿は、エネルギー効率の向上とモバイルデバイスのインcentivizationを目的として、フェデレーテッドラーニングにおける共同サービス価格設定および協調リレーコミュニケーションフレームワークを提案する。スタックルベルクゲームを用いて相互作用をモデル化し、モバイルデバイスはデータ価格とリレーノードの選択を戦略的に決定する一方、モデル所有者はデータ購読を最適化することで、干渉に配慮したパワー制御を伴う自己組織的リレーリングによってスループットを向上させ、混雑を軽減する。

ABSTRACT

For the sake of protecting data privacy and due to the rapid development of mobile devices, e.g., powerful central processing unit (CPU) and nascent neural processing unit (NPU), collaborative machine learning on mobile devices, e.g., federated learning, has been envisioned as a new AI approach with broad application prospects. However, the learning process of the existing federated learning platforms rely on the direct communication between the model owner, e.g., central cloud or edge server, and the mobile devices for transferring the model update. Such a direct communication may be energy inefficient or even unavailable in mobile environments. In this paper, we consider adopting the relay network to construct a cooperative communication platform for supporting model update transfer and trading. In the system, the mobile devices generate model updates based on their training data. The model updates are then forwarded to the model owner through the cooperative relay network. The model owner enjoys the learning service provided by the mobile devices. In return, the mobile devices charge the model owner certain prices. Due to the coupled interference of wireless transmission among the mobile devices that use the same relay node, the rational mobile devices have to choose their relay nodes as well as deciding on their transmission powers. Thus, we formulate a Stackelberg game model to investigate the interaction among the mobile devices and that between the mobile devices and the model owner. The Stackelberg equilibrium is investigated by capitalizing on the exterior point method. Moreover, we provide a series of insightful analytical and numerical results on the equilibrium of the Stackelberg game.

研究の動機と目的

• フェデレーテッドラーニングにおけるモバイルデバイスとモデル所有者間の直接的なモデル更新転送におけるエネルギー非効率性と通信範囲の制限を解決すること。
• 合理的でエネルギー制限を受けるモバイルデバイスが、サービス価格メカニズムを通じてフェデレーテッドラーニングに参加するインcentivizationを提供すること。
• モバイルデバイスが協力的にリレーネットワークを形成することで、モデル更新伝送のためのリレーネットワークを可能にし、ネットワーク混雑を軽減し、スループットを向上させること。
• 干渉に配慮したパワー制御を伴う、モバイルデバイスの価格戦略とリレーセレクションの共同最適化を通じて、デバイスの利益とモデル所有者のユーティリティの両方を最大化すること。

提案手法

• モデル所有者をリーダーとするスタックルベルクゲームモデルを定式化し、データ購読サイズを設定する。モバイルデバイスはフォロワーとして、データ価格とリレーシナリティを決定する。
• パスロスとレイリー fading を組み込んだ信号対干渉＋ノイズ比（SINR）式を用いて、モバイルデバイスの伝送レートと干渉の影響をモデル化する。
• 外部点法を適用してスタックルベルク均衡を解き、モバイルデバイスおよびモデル所有者の最適戦略を特定する。
• 自己組織的リレーネットワークを導入し、モバイルデバイスが中間ノードを介して更新を転送することで、直接伝送のエネルギーを削減し、長距離通信を可能にする。
• リレーリングルール（例：増幅・転送または復号・転送）を用いて、モデル更新サイズを維持し、追加のエネルギーコストを回避する。
• データ価格（利益）とリレーエフェクティビティのトレードオフを最適化し、高いデータ価格はより多くのデータを引きつけるが、干渉のためリレーサービスの利用可能性が低下する。

実験結果

リサーチクエスチョン

• RQ1 合理的でエネルギー制限を受けるモバイルデバイスが、フェデレーテッドラーニングに参加するインcentivizationをどのように提供できるか？
• RQ2 利益最大化とリレーネットワーク効率の両立を図るためのモバイルデバイスの最適価格戦略は何か？
• RQ3 モバイルデバイスがリレーノードを選択することで、協調通信モデルにおける干渉とエネルギー消費にどのような影響を与えるか？
• RQ4 トレーニングデータサイズが、リレーアシスト付きフェデレーテッドラーニングシステムにおけるモデル所有者のユーティリティとモバイルデバイスの利益に与える影響は何か？
• RQ5 干渉が連携し、モバイルデバイスとモデル所有者との戦略的相互作用が存在するシステムにおいて、スタックルベルク均衡はどのように計算できるか？

主な発見

• モバイルデバイス7は、複数のデバイスのリレーノードとして機能するため、モデル更新の情報価値が上昇し、最も高いデータ価格を達成する。
• モバイルデバイス4は、最低価格であるが、高いリレーキャパシティと低処理レートを有するため、モデル所有者から最大のデータ量を吸引する。
• モバイルデバイス5と6は同じリレーノード（デバイス4）を選択しており、相互干渉を引き起こすが、アクセスポイントへの直接伝送よりもエネルギー効率が良い。
• 自己組織的リレーネットワークにより、マルチホップで協調的モデル更新転送が可能となり、エネルギー消費が著しく削減され、スループットが向上する。
• モデル所有者のユーティリティは、低い価格と高いリレーエフェクティビティを有するデバイス（例：デバイス4）を選択することで最大に達する。
• 外部点法によりスタックルベルク均衡が成功裏に計算され、干渉制約下でも最適な価格戦略とリレーセレクション戦略への収束が実現した。