[論文レビュー] Hierarchical Federated Learning with Privacy

Varun Chandrasekaran, Suman Banerjee+2 more|arXiv (Cornell University)|Jun 10, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、クライアントが中間のスーパー・ノードによって集約されるゾーンを形成し、最終的に中央アグリゲーターに到達する階層的フェデレーテッドラーニング（HDP）を導入する。スーパー・ノードレベルでキャリブレートされたノイズを追加することにより、ローカルDPや中央DPよりも優れたプライバシー・ユーティリティトレードオフを達成し、中央DPと同等のモデル精度を実現しながら、ローカルDPよりも強力な推論攻撃に対する耐性を提供する。

ABSTRACT

Federated learning (FL), where data remains at the federated clients, and where only gradient updates are shared with a central aggregator, was assumed to be private. Recent work demonstrates that adversaries with gradient-level access can mount successful inference and reconstruction attacks. In such settings, differentially private (DP) learning is known to provide resilience. However, approaches used in the status quo (\ie central and local DP) introduce disparate utility vs. privacy trade-offs. In this work, we take the first step towards mitigating such trade-offs through {\em hierarchical FL (HFL)}. We demonstrate that by the introduction of a new intermediary level where calibrated DP noise can be added, better privacy vs. utility trade-offs can be obtained; we term this {\em hierarchical DP (HDP)}. Our experiments with 3 different datasets (commonly used as benchmarks for FL) suggest that HDP produces models as accurate as those obtained using central DP, where noise is added at a central aggregator. Such an approach also provides comparable benefit against inference adversaries as in the local DP case, where noise is added at the federated clients.

研究の動機と目的

• 微分プライバシー（DP）下でのフェデレーテッドラーニング（FL）における本質的なプライバシー・ユーティリティトレードオフを解決すること。特に、中央DPやローカルDPメカニズムが最適でないモデルユーティリティをもたらす場合に焦点を当てる。
• クライアントがゾーンにグループ化され、スーパー・ノードによって集約される階層的構造を導入することで、プライバシー・ユーティリティトレードオフが向上し、形式的なDP保証を維持できるかどうかを調査すること。
• ノイズをスーパー・ノードレベルに注入することで、既存のFLにおけるDPアプローチと比較してプライバシーを強化し、モデルユーティリティを向上させる、新たなメカニズム「階層的DP（HDP）」を形式化すること。
• 異なる信頼レベル（例：スーパー・ノードまたは中央アグリゲーター）に位置する攻撃者による再構築攻撃および推論攻撃に対するHDPの耐性を評価すること。
• クライアントのサンプリングレート（k）やゾーン構造などのシステムパラメータが、HDPにおけるプライバシーとモデルユーティリティに与える影響を分析すること。

提案手法

• クライアントがゾーンにグループ化され、各ゾーンを管理するスーパー・ノードがクライアント勾配を集約し、中央アグリゲーターに転送する階層的FLアーキテクチャを提案する。
• キャリブレートされたガウスノイズをスーパー・ノードレベルに追加することで、ゾーンレベルでのDP保証を確保する階層的微分プライバシー（HDP）を導入する。
• ガウスメカニズムの合成性を活用してプライバシーを拡張する：すでにノイズが加えられた勾配が集約されることで、中央アグリゲーターでの有効なプライバシー損失が低減する。
• 個々のクライアント勾配が露呈されないよう、スーパー・ノードレベルでセキュアアグリゲーションを採用することで、再構築攻撃者に対する攻撃表面を縮小する。
• 複数の集約レベルに跨る形式的なプライバシーバジェット（ε）の追跡を可能にするために、標準的なDPアカウンティングを階層的設定に適応する。
• 実用的で低ランタイムオーバーヘッドを実現するため、スーパー・ノード選出およびセキュアアグリゲーションの最先端実装を採用する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングに中間のスーパー・ノードレイヤーを導入することで、中央DPやローカルDPと比較してプライバシー・ユーティリティトレードオフが改善されるか？
• RQ2 階層的DP（HDP）は、ローカルDPおよび中央DPと比較して、モデル精度および推論・再構築攻撃に対する耐性においてどのように異なるか？
• RQ3 ゾーン構造およびクライアントのサンプリングレート（k）が、HDPにおける最終モデルのプライバシーとユーティリティに与える影響は何か？
• RQ4 特にガウスメカニズムの合成性を通じて、階層的集約プロセスによりプライバシー拡張が達成可能か？
• RQ5 異なる脅威モデル（例：スーパー・ノードまたは中央アグリゲーターに位置する攻撃者）がHDPにおける情報漏洩に与える影響は何か？また、HDPはそれらに対抗できるか？

主な発見

• HDPは、ノイズを中央アグリゲーターに追加する中央DP（CDP）と同等のモデル精度を達成する一方で、ローカルDP（LDP）よりも強力なプライバシー保証を提供する。
• HDPはローカルDPと同等の推論攻撃に対する防御を提供するが、はるかに優れたモデルユーティリティを実現するため、実装可能であれば好ましい代替手段である。
• 階層的構造によりプライバシー拡張が可能である：ゾーン数（s）がクライアント総数（k）未満の場合、中央アグリゲーターは集約済みでノイズが加えられた勾配のみを受信するため、有効なプライバシー損失が低減する。
• CIFAR-10、CIFAR-100、EMNISTデータセットにおける実験では、オンラインクライアント数（k）の増加がモデル精度にほとんど影響しないことが示され、クライアントのサンプリングの変動に強く、ロバストであることが示された。
• セキュアアグリゲーションとノイズ注入のおかげで、悪意あるクライアントがスーパー・ノードに選出された場合でも、HDPはスーパー・ノードレベルの再構築攻撃を効果的に防ぐことができる。
• ランダムに選ばれ、時間経過とともにローテートされるスーパー・ノードの構成のもと、さまざまな脅威モデル（例：データ再構築を目的とする受動的攻撃者）に対してもHDPはロバストであり、情報漏洩が低減することが示された。