[論文レビュー] Incentive Design for Efficient Federated Learning in Mobile Networks: A Contract Theory Approach

Jiawen Kang, Zehui Xiong+4 more|arXiv (Cornell University)|May 16, 2019

Privacy-Preserving Technologies in Data参考文献 20被引用数 34

ひとこと要約

本論文は契約理論を用いて、情報の非対称性と資源コストに対処し、品質の高いデータを持つモバイルデバイスをフェデレーテッドラーニングに参加させるインセンティブ機構を設計する。MNIST実験を通じて学習効率の向上と実現可能性を示す。

ABSTRACT

To strengthen data privacy and security, federated learning as an emerging machine learning technique is proposed to enable large-scale nodes, e.g., mobile devices, to distributedly train and globally share models without revealing their local data. This technique can not only significantly improve privacy protection for mobile devices, but also ensure good performance of the trained results collectively. Currently, most the existing studies focus on optimizing federated learning algorithms to improve model training performance. However, incentive mechanisms to motivate the mobile devices to join model training have been largely overlooked. The mobile devices suffer from considerable overhead in terms of computation and communication during the federated model training process. Without well-designed incentive, self-interested mobile devices will be unwilling to join federated learning tasks, which hinders the adoption of federated learning. To bridge this gap, in this paper, we adopt the contract theory to design an effective incentive mechanism for simulating the mobile devices with high-quality (i.e., high-accuracy) data to participate in federated learning. Numerical results demonstrate that the proposed mechanism is efficient for federated learning with improved learning accuracy.

研究の動機と目的

• 高品質ローカルデータを持つモバイルデバイスを情報の非対称性の下でフェデレーテッドラーニングに参加させる。
• データ品質を契約タイプとしてモデル化し、リソース報酬のバンドルを設計する。
• データオーナーの参加と真実性を確保しつつ、タスク発行者の利益を最大化する。

提案手法

• フェデレーテッドラーニングをタスク発行者とデータオーナーの独占に基づくモデルとして扱う。
• データ品質を契約タイプ p_theta_n として定義し、契約バンドル (R_n(f_n), f_n) を定式化する。
• 個人合理性（IR）とインセンティブ整合性（IC）制約を課し、局所下向きインセンティブ制約（LDIC）へ変換する。
• 時間制約と予算制約の下で、CVXを用いて凹最適化問題を解くことで最適報酬 R_n と CPU 資源 f_n を導出する。
• 緩和問題を解き、その後の単調性を強制することで、実行可能な契約とStackelbergモデルより高い発行者利益を得ることを示す。
• （必要に応じて追加翻訳のニュアンスを調整）

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるデータ品質が異質なデータオーナーに対するインセンティブ設計にどのように適用できるか。
• RQ2 データ品質（タイプ）と資源貢献が最適契約および全体システムの利益に与える影響は何か。
• RQ3 時間と予算制限の下でIRとIC制約を満たしつつ、タスク発行者の利益を最大化できるか。

主な発見

• 契約ベースのインセンティブ機構はより高品質のデータを引きつけ、フェデレーテッドラーニングの効率を改善する。
• 提案された契約によりIRとIC制約が満たされ、データオーナーは自分に割り当てられた契約のみを選択する。
• 発行者の利益はデータオーナーのタイプが増えるほど増加し、契約モデルはStackelbergモデルより高い。
• ローカルデータ精度の上限を引き上げる（高型の割合が増加する）と発行者の利益が上がる。
• 提案手法は、データオーナーの効用を非負のまま、対称情報のStackelbergベンチマークより高い利益を達成する。