[論文レビュー] Analyzing the Robustness of Decentralized Horizontal and Vertical Federated Learning Architectures in a Non-IID Scenario

Pedro Miguel Sánchez Sánchez, Alberto Huertas Celdrán+5 more|arXiv (Cornell University)|Oct 20, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、非IIDデータおよび悪意のある攻撃の下での耐性を評価するため、3つの分散型フェデレーテッドラーニングアーキテクチャ—HoriChain（水平型）、VertiChain、VertiComb（垂直型）—を提案する。実験の結果、HoriChainは、特に中程度の攻撃強度下で、データ汚染および勾配汚染攻撃に対して垂直型アーキテクチャを上回る耐性を示し、分散型FL環境における最も強固な構成であることが判明した。

ABSTRACT

Federated learning (FL) allows participants to collaboratively train machine and deep learning models while protecting data privacy. However, the FL paradigm still presents drawbacks affecting its trustworthiness since malicious participants could launch adversarial attacks against the training process. Related work has studied the robustness of horizontal FL scenarios under different attacks. However, there is a lack of work evaluating the robustness of decentralized vertical FL and comparing it with horizontal FL architectures affected by adversarial attacks. Thus, this work proposes three decentralized FL architectures, one for horizontal and two for vertical scenarios, namely HoriChain, VertiChain, and VertiComb. These architectures present different neural networks and training protocols suitable for horizontal and vertical scenarios. Then, a decentralized, privacy-preserving, and federated use case with non-IID data to classify handwritten digits is deployed to evaluate the performance of the three architectures. Finally, a set of experiments computes and compares the robustness of the proposed architectures when they are affected by different data poisoning based on image watermarks and gradient poisoning adversarial attacks. The experiments show that even though particular configurations of both attacks can destroy the classification performance of the architectures, HoriChain is the most robust one.

研究の動機と目的

• 非IIDデータおよび悪意のある攻撃下における分散型垂直フェデレーテッドラーニング（VFL）アーキテクチャの耐性評価の不足に対処すること。
• データ汚染および勾配汚染攻撃に対する水平型と垂直型FLアーキテクチャの耐性を比較すること。
• 水平型および垂直型FLシナリオに特化した、HoriChain、VertiChain、VertiCombの3つの新規分散型FLアーキテクチャの設計および実装すること。
• 分類精度、F1スコア、混同行列、クライアント関連度などの指標を用いて、悪意のある攻撃がモデル性能に与える影響を評価すること。
• 現実的でプライバシー保護型の非IIDデータ条件下で、フェデレーテッドラーニングにおける耐性を高めるアーキテクチャ的構成を同定すること。

提案手法

• 水平型FLに適したHoriChain、垂直型FLに適したVertiChainおよびVertiCombの3つの分散型FLアーキテクチャの設計および実装。各アーキテクチャは異なるニューラルネットワーク構造とトレーニングプロトコルを有する。
• クライアント間で非IIDデータ分布を持つ手書き数字分類のユースケースを、フェデレーテッドかつプライバシー保護型にデプロイ。
• 2種類の悪意のある攻撃を適用：画像ウォーターマーキングによるデータ汚染と、改ざんされたモデル更新による勾配汚染。
• 攻撃パラメータ（勾配乗数：-1、-10、0）を体系的に変化させ、攻撃強度とモデル収束への影響を評価。
• 分類精度、F1スコア、混同行列、クライアント関連度といった複数の指標を用いて評価し、モデルの挙動と攻撃検知可能性を分析。
• 同一の攻撃条件下でアーキテクチャのパフォーマンスを比較し、HFLおよびVFL環境下での相対的耐性を特定。

実験結果

リサーチクエスチョン

• RQ1 画像ウォーターマーキングを用いたデータ汚染攻撃下で、分散型水平フェデレーテッドラーニング（HFL）の耐性は垂直フェデレーテッドラーニング（VFL）と比べてどのように異なるか？
• RQ2 勾配乗数を変化させた勾配汚染攻撃（攻撃強度：-1、-10、0）が、HFLおよびVFLアーキテクチャの収束性およびパフォーマンスに与える影響は何か？
• RQ3 非IIDデータ分布は、悪意のある条件下におけるHFLおよびVFLアーキテクチャの耐性にどのように影響するか？
• RQ4 分類精度、F1スコア、または混同行列といった標準指標を用いて、データ汚染または勾配汚染攻撃の存在を検知できるか？
• RQ5 分散型FL環境下で、データ汚染および勾配汚染攻撃の両方に対して最も高い耐性を示すアーキテクチャは、HoriChain、VertiChain、VertiCombのうちどれか？

主な発見

• 勾配乗数-1の勾配汚染攻撃下で、HoriChainは収束が遅れても学習可能な性能を維持した一方、VertiCombはほぼランダムな予測にまで劣化した。
• 勾配乗数-10の高強度勾配汚染攻撃下では、HoriChainおよびVertiCombの両アーキテクチャとも機能的なモデルを学習できず、攻撃が完全に成功した。
• ウォーターマーキングによるデータ汚染攻撃下では、HoriChainおよびVertiCombともに、マークのないサンプルではベースライン水準の精度とF1スコアを維持した。これはバックドア行動が検知されず、攻撃が成功したことを示している。
• 混同行列の分析から、データ汚染攻撃は標準指標では検知できず、クリーンなサンプルのパフォーマンスに影響がない一方で、汚染された入力に対するモデル挙動に顕著な影響を与えた。
• 勾配乗数-1のやや中程度の攻撃強度下で、HoriChainはVertiCombよりも高い耐性を示した。これは、アーキテクチャ設計が悪意のある攻撃に対する耐性に重要な役割を果たすことを示唆している。
• 勾配乗数0（最小限の汚染）の攻撃下では、HoriChainとVertiCombの間で耐性に顕著な差が認められず、両アーキテクチャとも訓練に支障をきたさなかった。