[論文レビュー] Federated Adversarial Learning: A Framework with Convergence Analysis

Xiaoxiao Li, Zhao Song+1 more|arXiv (Cornell University)|Aug 7, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本稿では、敵対的サンプル生成のためのクライアント側内ループと、局所モデル更新のための外ループを備えた、フェデレーテッドラーニングに敵対的トレーニングを統合する新規フレームワークであるFederated Adversarial Learning (FAL) を提案する。その後、FedAvgによる集約が行われる。著者らは、非IIDデータと過パラメータ化された2層ReLUネットワークのもとで、$\epsilon$-最適なロバスト損失への収束を理論的に確立した。これは、複数の局所更新と勾配近似の課題が存在する状況でも成立する。

ABSTRACT

Federated learning (FL) is a trending training paradigm to utilize decentralized training data. FL allows clients to update model parameters locally for several epochs, then share them to a global model for aggregation. This training paradigm with multi-local step updating before aggregation exposes unique vulnerabilities to adversarial attacks. Adversarial training is a popular and effective method to improve the robustness of networks against adversaries. In this work, we formulate a general form of federated adversarial learning (FAL) that is adapted from adversarial learning in the centralized setting. On the client side of FL training, FAL has an inner loop to generate adversarial samples for adversarial training and an outer loop to update local model parameters. On the server side, FAL aggregates local model updates and broadcast the aggregated model. We design a global robust training loss and formulate FAL training as a min-max optimization problem. Unlike the convergence analysis in classical centralized training that relies on the gradient direction, it is significantly harder to analyze the convergence in FAL for three reasons: 1) the complexity of min-max optimization, 2) model not updating in the gradient direction due to the multi-local updates on the client-side before aggregation and 3) inter-client heterogeneity. We address these challenges by using appropriate gradient approximation and coupling techniques and present the convergence analysis in the over-parameterized regime. Our main result theoretically shows that the minimum loss under our algorithm can converge to $ε$ small with chosen learning rate and communication rounds. It is noteworthy that our analysis is feasible for non-IID clients.

研究の動機と目的

• フェデレーテッドラーニング環境下における敵対的トレーニングの収束性とロバスト性を理解する理論的ギャップを埋めること。
• フェデレーテッドラーニングにおけるミニマックス最適化、複数の局所クライアント更新、およびデータの非IID性に起因する課題を克服すること。
• 過パラメータ化されたニューラルネットワーク下で、フェデレーテッド敵対的トレーニングが小さなロバスト損失に収束することを理論的に示すこと。
• 実世界の一般的な課題である非IIDなクライアントデータ分布に対しても実行可能であることを保証すること。
• 過パラメータ化された設定下で、勾配近似とカップリング技術を用いた厳密な収束解析を提供すること。

提案手法

• FALを、グローバルなロバストトレーニング損失関数を持つミニマックス最適化問題として定式化する。
• クライアント側に二重ループ構造を実装する：内ループでPGDを用いた敵対的サンプル生成、外ループで局所モデルの更新。
• データの機微性を保つために、グローバルモデルの集約にFedAvgを用いる。
• 複数の局所トレーニングステップに起因する非勾配方向の更新を扱うために、勾配近似技術を適用する。
• 実際のグローバル勾配と近似グローバル勾配の間のギャップを埋めるために、カップリング技術と仮想ネットワークを活用する。
• 確率的ツールとニューラルネットワーク初期化理論を用いて、初期化付近にロバストなモデルが存在することを証明する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された設定下で、フェデレーテッド敵対的トレーニングは小さなロバスト損失に収束するか？
• RQ2 クライアント間で非IIDなデータ分布が存在する状況下で、FALの収束はどのように振る舞うか？
• RQ3 集約前に複数回の局所更新を実行する場合、ロバスト性と収束性に関する理論的保証は何か？
• RQ4 ミニマックス最適化とクライアントの非均質性が存在する状況下で、勾配近似とカップリング技術を用いて収束性をどのように解析できるか？
• RQ5 通信回数が限られている状況下で、グローバルモデルがFedAvgによって更新される場合、提案されたFALフレームワークはロバスト性と収束性を維持できるか？

主な発見

• 適切な学習率と通信ラウンド数のもとで、FALフレームワークは高確率で$\epsilon$-最適なロバスト損失に収束する。
• 理論的解析により、非IIDデータ分布下でも収束が確認された。これは実用的なフェデレーテッドラーニングにおける大きな課題である。
• ネットワーク幅が訓練例の数の多項式に比例する過パラメータ化された設定下でも収束結果が成立する。
• 隠れ層の幅を$m$とすると、初期化付近にロバストなモデルが存在することを確率$1 - \exp(-\Omega(m^{1/3}))$以上で証明した。
• ミニマックス最適化の複雑さと、複数の局所トレーニングステップに起因する直接的勾配更新の欠如を、解析が考慮している。
• グローバルなロバスト損失$\mathcal{L}_{\mathcal{A}^{*}}(f_{U^{*}}) \leq \epsilon$が高確率で成立し、訓練済みモデルのロバスト性が検証された。