[論文レビュー] IronForge: An Open, Secure, Fair, Decentralized Federated Learning

Guangsheng Yu, Xu Wang+6 more|arXiv (Cornell University)|Jan 7, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

IronForge は、中心的なコーディネータに依存せずに、現実的でリソースが不均等なネットワークにおいて非同期的でオープンかつ公平なモデル集約を可能にする、完全に分散型のフェデレーテッドラーニングフレームワークである。Directed Acyclic Graph (DAG) を用いることで、中央集権的アーキテクチャを排除し、安全で状態整合性のあるインcentiveメカニズムを実装。このメカニズムは、学習の証明（PoL）チャレンジと、モデル盗難、バックドア、データプライバシー攻撃に対する防御を備え、実世界の環境において優れたパフォーマンス、公平性、セキュリティを実証した。

ABSTRACT

Federated learning (FL) provides an effective machine learning (ML) architecture to protect data privacy in a distributed manner. However, the inevitable network asynchrony, the over-dependence on a central coordinator, and the lack of an open and fair incentive mechanism collectively hinder its further development. We propose extsc{IronForge}, a new generation of FL framework, that features a Directed Acyclic Graph (DAG)-based data structure and eliminates the need for central coordinators to achieve fully decentralized operations. extsc{IronForge} runs in a public and open network, and launches a fair incentive mechanism by enabling state consistency in the DAG, so that the system fits in networks where training resources are unevenly distributed. In addition, dedicated defense strategies against prevalent FL attacks on incentive fairness and data privacy are presented to ensure the security of extsc{IronForge}. Experimental results based on a newly developed testbed FLSim highlight the superiority of extsc{IronForge} to the existing prevalent FL frameworks under various specifications in performance, fairness, and security. To the best of our knowledge, extsc{IronForge} is the first secure and fully decentralized FL framework that can be applied in open networks with realistic network and training settings.

研究の動機と目的

• 中央集権的フェデレーテッドラーニングの限界、すなわち単一障害点、ネットワークの非同期性、リソースが不均等な環境における不公平なインcentiveを解消すること。
• システムの可用性と学習の柔軟性を維持しつつ、オープンネットワークにおいても中心的なコーディネータを排除すること。
• リソース格差が存在する状況でも、検証可能な学習貢献に基づいて参加者に報酬を分配する公平でオープンなインcentiveメカニズムを確立すること。
• 分散型 FL における深刻な攻撃、特にモデル盗難、共謀、バックドア、データプライバシー漏洩を防御すること。
• 公開検証と合意形成を分散的に実現できる、安全で状態整合性を保証する DAG ベースのアーキテクチャを設計すること。

提案手法

• IronForge は、モデル更新を表す Directed Acyclic Graph (DAG) を用い、中央コーディネータがいなくても非同期的な集約を可能にする。
• 公平で予測不可能な合意形成ノードの選定を保証するため、Verifiable Random Function (VRF) を用いた委員会選挙を採用する。
• 学習の証明（PoL）メカニズムにより、参加者はモデル所有者をチャレンジでき、公開検証のための要請に応じてトレーニング結果を再現する必要がある。
• 時間窓 ΔT の間に状態の一貫性を強制することで、すべてのノードが Global-DAG の一貫したビューを持つことを保証し、合意形成攻撃を防ぐ。
• PoL チャレンジ時にデータセットのオブスクリュエーション技術を適用し、データプライバシーを保護しつつモデルの有用性の検証を可能にする。
• セキュリティ防御策として、合意形成時にトレーニングを再実行し、非 IID ノイズを適用することで、繰り返しのチャレンジによるプライバシー漏洩リスクを低減する。

Figure 1: System model of IronForge

実験結果

リサーチクエスチョン

• RQ1 完全に分散型のフェデレーテッドラーニングシステムは、ネットワークの非同期性に直面しても、中心的なコーディネータを排除しつつシステムの安定性を維持できるか？
• RQ2 リソースの分配が不均等な分散型 FL システムにおいて、公平でオープンなインcentiveメカニズムをどのように確立できるか？
• RQ3 公開でオープンなネットワークにおいて、モデル所有権と学習努力が検証可能である場合に、モデル盗難や共謀攻撃を防ぐためのメカニズムは何か？
• RQ4 公開検証プロセス（例：学習の証明チャレンジ）において、データプライバシーをどのように保護できるか？
• RQ5 DAG ベースのアーキテクチャは、分散型 FL 環境において、長期にわたる状態の一貫性と合意形成攻撃に対する耐性を確保できるか？

主な発見

• IronForge は、中心的なコーディネータを排除することで完全な分散化を達成し、現実的でリソースが不均等なネットワーク条件でも運用可能である。
• DAG ベースのモデル構造により、非同期集約が可能となり、同期的または擬似非同期的 FL フレームワークと比較して、ネットワークの非同期性に対するシステムのレジリエンスが顕著に向上した。
• 学習の証明（PoL）メカニズムにより、学習貢献の公開検証が可能となり、モデル盗難や虚偽の貢献主張の防止に効果的である。
• 十分に長い時間窓 ΔT の間に状態の一貫性が維持されることで、合意形成ノードが Global-DAG の状態について合意に達し、ネットワーク遅延による無限の不一致を防げる。
• PoL チャレンジ時にデータセットをオブスクリュエートすることで、プライバシー漏洩リスクを低減しつつ、モデルの有用性を損なわず、モデルメルティング攻撃に対しても保護できる。
• FLSim テストベッドでの実験結果から、性能、公平性、セキュリティの観点で、既存のフレームワークを上回ることが確認された。特に報酬分配の安定性、ポisoning 攻撃およびバックドア攻撃に対する耐性において顕著な優位性を示した。

Figure 2: Task-DAG. The figure illustrates an overview of starting a new DAG-based FL task, also known as Task-DAG . One with aims to improve his model accuracy to a certain target with the help of the community can release a task as the task publisher. Some amount of token is deposited as the prize