[論文レビュー] Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring

Zhengquan Luo, Yunlong Wang+3 more|arXiv (Cornell University)|Jun 14, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、ドメイン固有（非因果的）および不変（因果的）属性を二つのブランチに分離する、新しいFLフレームワークである分離型フェデレーテッドラーニング（DFL）を提案する。不変集約を用いて安定なグローバルモデル更新を実現し、多様性転送によりタスク関連の局所的表現を保持する。DFLは、最先端のFL手法と比較して、収束が速く、精度が高く、属性スケイリング下でもより高いロバスト性を示す。

ABSTRACT

Attributes skew hinders the current federated learning (FL) frameworks from consistent optimization directions among the clients, which inevitably leads to performance reduction and unstable convergence. The core problems lie in that: 1) Domain-specific attributes, which are non-causal and only locally valid, are indeliberately mixed into global aggregation. 2) The one-stage optimizations of entangled attributes cannot simultaneously satisfy two conflicting objectives, i.e., generalization and personalization. To cope with these, we proposed disentangled federated learning (DFL) to disentangle the domain-specific and cross-invariant attributes into two complementary branches, which are trained by the proposed alternating local-global optimization independently. Importantly, convergence analysis proves that the FL system can be stably converged even if incomplete client models participate in the global aggregation, which greatly expands the application scope of FL. Extensive experiments verify that DFL facilitates FL with higher performance, better interpretability, and faster convergence rate, compared with SOTA FL methods on both manually synthesized and realistic attributes skew datasets.

研究の動機と目的

• 非因果的・ドメイン固有の属性が誤って集約されることによって引き起こされる、フェデレーテッドラーニングにおける性能劣化と不安定な収束を是正すること。
• 不変属性と固有属性が混同された単一ブランチのクライアントモデルの制限を克服し、最適化方向の衝突を回避すること。
• 不完全なクライアントモデルが集約に参加する場合でも、安定なグローバル収束を実現し、FLの実用的適用範囲を拡大すること。
• 相互情報量制約を用いて因果的（不変）属性と非因果的（固有）属性を分離することで、モデルの汎化性とパーソナライゼーションを向上させること。
• 二ブランチ最適化フレームワークにより、グローバルモデルの安定性を損なわず、局所的表現の多様性と意思決定のロバスト性を向上させること。

提案手法

• クライアント表現を、グローバル集約に適したドメイン不変ブランチと、局所最適化に適したドメイン固有ブランチに二つに分離する。
• 局所的不変特徴量とグローバルモデルとの間の相互情報量（MI）を最大化することで、最適化方向を一致させ、不変性を強制する。
• 局所的不変属性と固有属性を分離するために、相互情報量最小化を適用し、ドメイン固有の特徴量がグローバル集約に汚染されないよう保証する。
• グローバルモデル更新に、局所的不変ブランチのみを用いる不変集約を実装することで、非因果的属性による悪影響を低減する。
• 局所的表現の質を向上させ、一般化性能を向上させるために、局所的不変特徴量と転送された固有抽出器を組み合わせる多様性転送を導入する。
• 交互に局所・グローバル最適化を実行する：二つのブランチを順次訓練することで、対立する目的を回避し、安定な収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて不変属性とドメイン固有属性を分離することで、属性スケイリングに起因する負の伝搬を低減できるか？
• RQ2 不変ブランチのみを用いた不変集約は、標準的なFLと比較して、より安定的かつ収束性の高いグローバルモデル更新を実現するか？
• RQ3 多様性転送により、グローバル収束性の劣化や通信コストの増加を伴わずに、局所的表現の質を向上させられるか？
• RQ4 クライアント参加率や通信ラウンド数が変化する条件下でも、最先端のFL手法と比較して、本手法はどのように性能を発揮するか？
• RQ5 分離型フレームワークは、現実の属性スケイリングが顕著なデータセットにおいて、モデルの解釈可能性とロバスト性をどの程度向上させるか？

主な発見

• DFLは、最先端のFL手法と比較して、交差エントロピー損失曲線が低く、変動が小さいことから、より速く安定した収束を達成していることが示された。
• Office-Caltech10およびDomainNetにおいて、DFLはベースラインと比較して平均精度をほぼ3%向上させ、現実的な属性スケイリング下でも顕著な性能向上を示した。
• アブレーションスタディにより、不変集約と多様性転送が相補的であることが確認された：両者のいずれかを除去すると性能が低下し、一方で一括最適化では発散した。
• 理論的収束解析により、不完全なクライアント参加下でもDFLが高水準の性能を維持することが実証された。
• Grad-CAMによる可視化により、不変ブランチが因果的・オブジェクトレベルの特徴（例：鳥の形状）に注目しているのに対し、固有ブランチはドメイン依存の属性（例：空、木）に注目していることが確認された。
• 局所的固有学習のエポック数を最適化することで（例：10エポック）、収束に必要な通信ラウンド数が減少し、精度を損なわず通信コストを削減できることが示された。