[論文レビュー] Incentives for Federated Learning: a Hypothesis Elicitation Approach

Yang Liu, Jiaheng Wei|arXiv (Cornell University)|Jul 21, 2020

Privacy-Preserving Technologies in Data参考文献 53被引用数 15

ひとこと要約

この論文は、フェデレーテッドラーニングにおけるローカル機械学習モデルの真実の報告を促すために、仮説の提示に基づくスコアリングルールフレームワークを提案する。ベイジアンナッシュ均衡とピア予測を活用することで、低品質または偽の仮説に対して報酬が減少するよう保証され、MNISTおよびCIFAR-10で検証されたが、誤報告や悪意ある攻撃に対しても頑健である。

ABSTRACT

Federated learning provides a promising paradigm for collecting machine learning models from distributed data sources without compromising users' data privacy. The success of a credible federated learning system builds on the assumption that the decentralized and self-interested users will be willing to participate to contribute their local models in a trustworthy way. However, without proper incentives, users might simply opt out the contribution cycle, or will be mis-incentivized to contribute spam/false information. This paper introduces solutions to incentivize truthful reporting of a local, user-side machine learning model for federated learning. Our results build on the literature of information elicitation, but focus on the questions of eliciting hypothesis (rather than eliciting human predictions). We provide a scoring rule based framework that incentivizes truthful reporting of local hypotheses at a Bayesian Nash Equilibrium. We study the market implementation, accuracy as well as robustness properties of our proposed solution too. We verify the effectiveness of our methods using MNIST and CIFAR-10 datasets. Particularly we show that by reporting low-quality hypotheses, users will receive decreasing scores (rewards, or payments).

研究の動機と目的

• 自己利益志向のユーザーがフェデレーテッドラーニングシステムにおいて、局所的に訓練された機械学習モデルを真実に貢献するよう促す課題に対処すること。
• 真のラベルの検証がなくても、高品質な仮説に報酬を与え、低品質または偽の報告に対してペナルティを科す支払いメカニズムを設計すること。
• 真のラベルの検証がある・ないにかかわらず、ベイジアンナッシュ均衡において真実の報告が優位戦略となるようにメカニズムを保証すること。
• 現実的なフェデレーテッドラーニングのシナリオにおいて、誤報告行動や悪意ある攻撃に対する頑健性を評価すること。
• 中央集権的なラベル収集を必要としない、汎用的でスケーラブルなインcentive統合ソリューションを提供すること。

提案手法

• 真のラベルまたはピア予測を基準として使用し、適切なスコアリングルールを用いて報告された仮説を評価するスコアリングルールフレームワークを提案する。
• 合理的なエージェントにとって真実の報告が優位戦略となるように、ベイジアンナッシュ均衡フレームワークを採用する。
• 2つの報酬構造を導入する：0-1スコア（ワンホット比較）と交差エントロピー（CE）スコアで、両方とも誤ったまたは低信頼度の予測に対してペナルティを科すように設計されている。
• 真のラベルが存在しない場合、ピア予測を代替ラベルとして使用し、確率的相関の仮定に基づいたピア予測に類似したメカニズムを実現する。
• ユーザーの不確実性や意図的な欺瞞を模擬するために、遷移行列（一様およびスパース）を用いて誤報告行動をモデル化する。
• LinfgPGD攻撃を用いて摂動を加えた入力を生成し、予測結果を重み付き平均で組み合わせることで、損傷を受けた検証を模擬する。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが存在しない状況でも、自己利益志向のユーザーが機械学習仮説を真実に報告するよう促すスコアリングルールを設計できるか？
• RQ2 真のラベルが存在しない状況では、ピア予測に依存して真実の報告をどのように保証できるか？
• RQ3 提案されたメカニズムは、誤報告、共謀、悪意ある攻撃に対してどの程度頑健であるか？
• RQ4 0-1スコアとCEスコアの異なるスコアリングルールは、仮説報告の正確性とインcentiveの整合性にどのような影響を与えるか？
• RQ5 ユーザーの誤報告率（例：0.1〜0.5）を変化させた場合、システムが高品質なモデルを引き出す能力にどのような影響が生じるか？

主な発見

• 提案されたスコアリングルールフレームワークは、自己利益志向で誤報告を行う可能性があるユーザーに対しても、ベイジアンナッシュ均衡において真実の報告を保証する。
• 真のラベルの検証がある状況では、CEスコアがMNISTおよびCIFAR-10の両方で0-1スコアを常に上回り、正確な仮説報告を促進する。
• 真のラベルがない状況では、ピア予測に基づくメカニズムが強く性能を発揮し、スパースな誤報告モデル下でも誤報告率の上昇は限定的である。
• 30％の悪意あるユーザーと摂動を加えた入力が存在する悪意ある条件下でも、メカニズムは平均スコアのずれが±0.3に保たれ、攻撃に対しても安定性を維持する。
• 一様な誤報告（e=0.25）下では、0-1スコアはCEスコアに比べて25％高い誤報告率を示し、CEスコアの優れた頑健性を示している。
• 5回の実行におけるスコアの中央値は、最大で0.3のずれを示しており、やや高い分散であるが、試行間で一貫した性能トレンドが確認された。