[論文レビュー] An Exploratory Analysis on Users' Contributions in Federated Learning

Jiyue Huang, Rania Talbi+4 more|arXiv (Cornell University)|Nov 13, 2020

Privacy-Preserving Technologies in Data参考文献 43被引用数 4

ひとこと要約

本稿では、特にラベル反転攻撃を含む悪意あるユーザーの寄与を検出・緩和するためのインcentiveメカニズムを、フェデレーテッドラーニングにおいて検討する。3つの寄与測定法（シャープレー値、インフルエンス、レピュテーション）を評価し、計算効率と低品質な更新の特定における有効性のトレードオフを示しており、シャープレー値が敵対的状況下でも理論的期待と最も整合性を示すことが判明した。

ABSTRACT

Federated Learning is an emerging distributed collaborative learning paradigm adopted by many of today's applications, e.g., keyboard prediction and object recognition. Its core principle is to learn from large amount of users data while preserving data privacy by design as collaborative users only need to share the machine learning models and keep data locally. The main challenge for such systems is to provide incentives to users to contribute high-quality models trained from their local data. In this paper, we aim to answer how well incentives recognize (in)accurate local models from honest and malicious users, and perceive their impacts on the model accuracy of federated learning systems. We first present a thorough survey on two contrasting perspectives: incentive mechanisms to measure the contribution of local models by honest users, and malicious users to deliberately degrade the overall model. We conduct simulation experiments to empirically demonstrate if existing contribution measurement schemes can disclose low-quality models from malicious users. Our results show there exists a clear tradeoff among measurement schemes in terms of the computational efficiency and effectiveness to distill the impact of malicious participants. We conclude this paper by discussing the research directions to design resilient contribution incentives.

研究の動機と目的

• フェデレーテッドラーニングにおけるインcentiveメカニズムが、モデル品質を低下させる悪意あるユーザーと誠実なユーザーの寄与をどのように認識するかを分析すること。
• 特にラベル反転攻撃を含む敵対的行動が、モデルの精度と寄与測定の信頼性に与える影響を調査すること。
• 既存の寄与測定スキーム（シャープレー、インフルエンス、レピュテーション）が、悪意ある参加者による低品質なモデル更新を検出する能力を評価すること。
• インcentiveメカニズムを狙ったフリーライディングなど、モデル品質を狙わない攻撃を特定するための研究ギャップを同定すること。
• 攻撃に強い、攻撃を認識できるインcentiveメカニズムを設計するための今後の研究方向性を提案すること。

提案手法

• 誠実な貢献者向けのインcentiveメカニズムと、モデル性能を低下させる敵対的行動という2つの対照的な視点を調査する。
• フェデレーテッドラーニングで訓練されたディープな画像分類器を用いたシミュレーション実験を実施し、ラベル反転攻撃がモデル精度に与える影響を評価する。
• 3つの寄与測定技術（シャープレー値、インフルエンス関数、レピュテーションスコア）を適用し、モデル更新の品質を評価する。
• 各ユーザーの更新がモデル損失に与える限界的寄与を測定することで、各メトリクスが悪意ある参加者をどれだけうまく検出できるかを評価する。
• プライバシーを保ちながらも中央集権的な評価を可能にするために、セキュアアグリゲーションを用いてモデル更新を統合する。
• 攻撃強度（反転レベル）を変化させた状況でメトリクスを比較し、耐性と計算コストの両面から評価する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、既存の寄与測定スキームは、悪意あるユーザーによる低品質なモデル更新をどれだけ効果的に検出できるか？
• RQ2 敵対的状況下におけるインcentiveメカニズムにおいて、計算効率と検出有効性の間にはどのようなトレードオフが存在するか？
• RQ3 ラベル反転やフリーライディングなどの異なる攻撃戦略は、フェデレーテッドラーニングにおける寄与測定の信頼性にどのように影響を与えるか？
• RQ4 シャープレー値、インフルエンス、レピュテーションメトリクスは、悪意ある寄与を特定するという理論的期待とどれほど整合性を示すか？
• RQ5 インcentiveメカニズムを標的にする新たな攻撃ベクトルは存在するか。それらはどのように検出または緩和できるか？

主な発見

• 寄与測定スキーム間には、計算効率と検出有効性の明確なトレードオフが存在し、シャープレー値は高いコストを伴うが最も正確な検出を実現している。
• ラベル反転レベルが変化する状況下でも、シャープレー値はインフルエンスおよびレピュテーションを上回り、理論的期待との整合性が最も高い。
• ラベル反転攻撃はモデル精度を著しく低下させ、特にレピュテーションおよびインフルエンスといったより単純なメトリクスでは検出を回避できる。
• 実際の訓練を行わず、偽の更新を提出するフリーライディング攻撃は、依然としてほとんど検討がなされていないが、インcentiveの公平性に対して深刻な脅威をもたらす。
• 攻撃強度が中程度の場合は、誠実な低品質な更新と悪意ある更新を区別するのが、既存のメトリクスでは困難である。
• ブロックチェーンを用いた寄与ログの記録は、検証可能なパラメータ記録を通じて追跡性を向上させ、悪意あるユーザーの検出を可能にする可能性を有する。