[論文レビュー] Prototype Guided Federated Learning of Visual Feature Representations

Umberto Michieli, Mete Özay|arXiv (Cornell University)|May 19, 2021

Privacy-Preserving Technologies in Data参考文献 59被引用数 25

ひとこと要約

本論文は FedProto を導入します。視覚特徴表現のためのプロトタイプマージン主導の連合最適化法であり、分類とセマンティックセグメンテーションのための異種FL設定における精度と収束を向上させます。また、斬新なマージンベースの指標とエントロピ分析を用いて特徴表現の特性を分析します。

ABSTRACT

Federated Learning (FL) is a framework which enables distributed model training using a large corpus of decentralized training data. Existing methods aggregate models disregarding their internal representations, which are crucial for training models in vision tasks. System and statistical heterogeneity (e.g., highly imbalanced and non-i.i.d. data) further harm model training. To this end, we introduce a method, called FedProto, which computes client deviations using margins of prototypical representations learned on distributed data, and applies them to drive federated optimization via an attention mechanism. In addition, we propose three methods to analyse statistical properties of feature representations learned in FL, in order to elucidate the relationship between accuracy, margins and feature discrepancy of FL models. In experimental analyses, FedProto demonstrates state-of-the-art accuracy and convergence rate across image classification and semantic segmentation benchmarks by enabling maximum margin training of FL models. Moreover, FedProto reduces uncertainty of predictions of FL models compared to the baseline. To our knowledge, this is the first work evaluating FL models in dense prediction tasks, such as semantic segmentation.

研究の動機と目的

• 視覚タスクの連合学習を改善する動機として、モデル重みだけでなく内部表現を活用すること。
• 非i.i.d.データを含む異種FLにおいてアグリゲーションを駆動するためのプロトタイプベースのアテンション機構を開発する。
• クライアント間およびラウンド間のプロトタイプ表現の学習ダイナミクスを導入・分析する。
• セグメンテーションなどのFLタスクにおける特徴表現を研究するための指標と定性的ツールを提供する。

提案手法

• 潜在特徴から各クライアントでクラス別のプロトタイプ表現を計算する。
• Local Prototype Margin（LPM）とAggregate Prototype Margin（APM）を定義してプロトタイプの変位を測定する。
• Semantic PM（SPM）を導入し、同一クラス内およびクラス間のプロトタイプ距離を比較する。
• マージンからシグモイド関数を用いて局所および集約アテンション重みを計算し、これらのアテンションを用いて連合集約を行う。
• 部分的な局所ワークロードを許容し、FedAvg風の更新中に局所および集約の変動を結合する新しい二節アテンションを使用する。
• プロトタイプとアテンションをFL最適化ループに統合するアルゴリズム（FedProto）を提供する。

実験結果

リサーチクエスチョン

• RQ1 システム的・統計的異質性の下で、プロトタイプマージンは視覚モデルの連合対応最適化を改善できるか。
• RQ2 マージンベースのプロトタイプ分析は、分類およびセグメンテーションにおけるFLの精度向上と収束と相関するか。
• RQ3 ローカルおよびアグゲートプロトタイプの変化が、ラウンドとクライアント間でモデルの性能にどのように反映されるか。
• RQ4 プロトタイプ主導のアテンションは、異種FL設定において従来のFedAvgおよび既存のアテンション手法を上回るか。
• RQ5 連合視覚モデルで学習される特徴表現を分析する信頼できる指標は何か。

主な発見

• FedProto は複数のデータセットにわたる画像分類ベンチマークで最先端の精度と収束速度を達成する。
• FedProto は分類において FedAvg、FedProx、FedAtt を上回り、勾配の不相似性が低いことからより良い収束を示す。
• プロトタイプマージン（LPM および APM）と連合アテンションは潜在空間の組織化と正則化を改善し、中央集権的トレーニングの挙動と整合する。
• Aggregate Mean Margin（AMM）は精度の向上と相関し、FedProto は他の最適化手法より大きな AMM を示す。
• Federated Feature Discrepancy（FFD）の分析は、複数のデータセットにおいて FedProto の特徴が FedAvg より中央集権訓練により近いことを示す。
• FedProto はセマンティックセグメンテーションで評価され、非-i.i.d. データ分布に対して堅牢で、FedAvg より改善されたセグメンテーション指標（mIoU）を達成する。