[論文レビュー] Aggregate or Not? Exploring Where to Privatize in DNN Based Federated Learning Under Different Non-IID Scenes

Xinchun Li, Le Gan+4 more|arXiv (Cornell University)|Jul 26, 2021

Privacy-Preserving Technologies in Data参考文献 65被引用数 8

ひとこと要約

本稿は、非i.i.d.データ分布下でのDNNベースのフェデレーテッドラーニングにおいて、モデルプライバシティズーションをどこに適用すべきかを調査し、ベースレイヤーのプライバシティズーションがラベルシフトの状況下でもパフォーマンスを向上させることを提案する。本稿では、クロススタッチ、ソフトアテンション、ハードセレクションの自動手法を導入し、最適なプライバシティズーション戦略を学習する。主な発見として、ダブルブランチ（AaB）および共有分類器（ABb）アーキテクチャが、多様な非i.i.d.設定において単一ブランチアプローチを上回ることが示された。

ABSTRACT

Although federated learning (FL) has recently been proposed for efficient distributed training and data privacy protection, it still encounters many obstacles. One of these is the naturally existing statistical heterogeneity among clients, making local data distributions non independently and identically distributed (i.e., non-iid), which poses challenges for model aggregation and personalization. For FL with a deep neural network (DNN), privatizing some layers is a simple yet effective solution for non-iid problems. However, which layers should we privatize to facilitate the learning process? Do different categories of non-iid scenes have preferred privatization ways? Can we automatically learn the most appropriate privatization way during FL? In this paper, we answer these questions via abundant experimental studies on several FL benchmarks. First, we present the detailed statistics of these benchmarks and categorize them into covariate and label shift non-iid scenes. Then, we investigate both coarse-grained and fine-grained network splits and explore whether the preferred privatization ways have any potential relations to the specific category of a non-iid scene. Our findings are exciting, e.g., privatizing the base layers could boost the performances even in label shift non-iid scenes, which are inconsistent with some natural conjectures. We also find that none of these privatization ways could improve the performances on the Shakespeare benchmark, and we guess that Shakespeare may not be a seriously non-iid scene. Finally, we propose several approaches to automatically learn where to aggregate via cross-stitch, soft attention, and hard selection. We advocate the proposed methods could serve as a preliminary try to explore where to privatize for a novel non-iid scene.

研究の動機と目的

• 異なる非i.i.d.データ分布タイプ（共変量シフト対ラベルシフト）が、フェデレーテッドラーニングにおけるプライバシティズーション戦略に与える影響を調査すること。
• 粗粒度および微粒度のネットワーク分割を評価し、モデル集約およびパーソナライゼーションに最適なプライバシティズーション位置を特定すること。
• FLトレーニング中にどこをプライバシティズーションすべきかを自動で学習する手法を開発し、手動によるハイパーパrameterチューニングを低減すること。
• 現在のベンチマーク（例：Shakespeare）が深刻な非i.i.d.課題を真正に反映しているかどうかを評価すること。
• 新しい非i.i.d. FLシナリオにおけるプライバシティズーション戦略の選択を体系的に行うフレームワークを提供すること。

提案手法

• データ分布統計に基づいて、4つのFLベンチマークを共変量シフトおよびラベルシフトの非i.i.d.シナリオに分類する。
• アーキテクチャの性能を比較するため、粗粒度（例：AaB, ABb）および微粒度（レイヤー単位）のプライバシティズーション分割を設計する。
• 最適な集約重みを学習する3つの自動学習メカニズム（AutoCS（クロススタッチ）、AutoSA（ソフトアテンション）、AutoHS（ハードセレクション））を提案する。
• 完全な再トレーニングなしに最適なプライバシティズーションパターンを効率的に探索できるように、共有アーキテクチャ（AaBb）を用いた補間テクニックを採用する。
• ソフトアテンションおよびGumbel-softmaxサンプリングを用いて、トレーニング中に微分可能で学習可能なプライバシティズーションルーティングを実現する。
• グローバルモデルとパーソナライズドモデルを並列にトレーニングし、学習された係数が共有部とプライベート部のバランスを動的に制御する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.分布の種類（共変量シフト対ラベルシフト）が、DNNベースのFLにおけるプライバシティズーションの最適レイヤーに影響を与えるか？
• RQ2 直感的な予想とは反して、ラベルシフトの非i.i.d.状況下でも、初期（ベース）レイヤーのプライバシティズーションがパフォーマンスを向上させるか？
• RQ3 Shakespeareを含む多様な非i.i.d.ベンチマークにおいて、一貫して良好なパフォーマンスを示すプライバシティズーション戦略が存在するか？
• RQ4 事前の知識なしに、アテンションやハードセレクションなどの自動学習メカニズムが、最適なプライバシティズーションパターンを効果的に発見できるか？
• RQ5 提案された補間テクニックにより、新しい非i.i.d.シナリオにおける最適なプライバシティズーションアーキテクチャの効率的かつ正確な同定が可能か？

主な発見

• ベースレイヤー（例：初期の畳み込みブロック）のプライバシティズーションが、ラベルシフトの非i.i.d.状況下でも顕著にパフォーマンスを向上させることを示し、プライバシティズーションの恩恵はラベル固有のレイヤーに限定されないという仮定に疑問を呈する。
• Shakespeareベンチマークでは、いかなるプライバシティズーション戦略に対してもパフォーマンス向上が見られず、これはそのベンチマークが深刻な非i.i.d.課題を真正に反映していない可能性を示唆する。
• ダブルブランチプライバシティズーション（例：AaB）は、すべてのベンチマークで単一ブランチアプローチを一貫して上回り、共有特徴抽出とプライベートヘッドの併用に構造的利点があることを示した。
• 提案された自動手法（AutoCS, AutoSA, AutoHS）は、最良の手動設計プライバシティズーション戦略と同等のパフォーマンスを達成し、最適な構成を学習する有効性を裏付けた。
• 学習されたアーキテクチャ（例：アテンション重み）の係数から、共有コンponentsがしばしば優先され、特にAutoHSおよびAutoSAは大多数のケースで共有特徴を好む傾向が明らかになった。
• AaBbアーキテクチャを用いた補間テクニックにより、最適なプライバシティズーションパターンの探索が効率的に行えるようになり、全探索に比べてトレーニングコストを削減できた。