[論文レビュー] When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA

Jessica Zhao, Sayan Ghosh+2 more|arXiv (Cornell University)|Jan 24, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、KL発散に基づく基準を用いて、教師モデルと生徒モデルの間で疑似ラベル生成のための動的切り替えを可能にする、新しいフェデレーテッド半教師付き学習フレームワークであるFedSwitchを提案する。ローカル教師の適応と適応的切り替えを可能にすることで、FedSwitchはCIFAR-10およびFashion MNISTで最先端の精度を達成し、非IIDデータに対して高い耐性を示し、通信コストを最小限に抑えつつ、クライントのプライバシーとステートレス性を維持する。

ABSTRACT

Semi-Supervised Learning (SSL) has received extensive attention in the domain of computer vision, leading to development of promising approaches such as FixMatch. In scenarios where training data is decentralized and resides on client devices, SSL must be integrated with privacy-aware training techniques such as Federated Learning. We consider the problem of federated image classification and study the performance and privacy challenges with existing federated SSL (FSSL) approaches. Firstly, we note that even state-of-the-art FSSL algorithms can trivially compromise client privacy and other real-world constraints such as client statelessness and communication cost. Secondly, we observe that it is challenging to integrate EMA (Exponential Moving Average) updates into the federated setting, which comes at a trade-off between performance and communication cost. We propose a novel approach FedSwitch, that improves privacy as well as generalization performance through Exponential Moving Average (EMA) updates. FedSwitch utilizes a federated semi-supervised teacher-student EMA framework with two features - local teacher adaptation and adaptive switching between teacher and student for pseudo-label generation. Our proposed approach outperforms the state-of-the-art on federated image classification, can be adapted to real-world constraints, and achieves good generalization performance with minimal communication cost overhead.

研究の動機と目的

• 既存のフェデレーテッド半教師付き学習（FSSL）手法におけるプライバシーとスケーラビリティの制限、特にクライントのプライバシーを損なうか、ステートフルなクライントを仮定する問題を解決すること。
• 特に通信コストとモデル同期の観点から、指数移動平均（EMA）更新をフェデレーテッド環境に統合する際の課題を調査すること。
• 実世界の制約（データの非IID性、低通信コスト）を満たしつつ、高い汎化性能を維持できる実用的なFSSLフレームワークを設計すること。
• クライント固有のデータ分布に適応するため、疑似ラベル生成における教師モデルと生徒モデルの間で動的切り替えを行うメカニズムを開発すること。

提案手法

• FedSwitchは、サーバーとクライントの両方でグローバルおよびローカルの生徒・教師モデルを維持するフェデレーテッド教師-生徒EMAフレームワークを採用する。
• ローカル教師モデルは、EMA更新を通じてクライントデータに適応し、時間経過に伴う生徒モデルの分布シフトを追跡できる。
• 未ラベルデータにおける生徒モデルと教師モデルの出力分布の乖離を評価するために、KL発散指標が用いられる。
• この指標に基づき、FedSwitchは各クライントに対して教師モデルまたは生徒モデルを動的に切り替え、疑似ラベルを生成する。これにより、非IID条件下でのラベル品質が向上する。
• クライント間でのモデル共有を回避することでプライバシーを確保し、クライント側のモデル保存を恒久的に行わないことでクライントのステートレス性を維持する。
• 通信コストを最小限に抑えるために、サーバーに送信するのは生徒モデルの重みのみであり、ローカルでのEMA更新はクライント側で実行される。

実験結果

リサーチクエスチョン

• RQ1 EMAベースの教師-生徒トレーニングを、通信コストが著しく増加するおそれやプライバシー制約に反しない形でフェデレーテッド半教師付き学習に効果的に統合できるか。
• RQ2 非IIDなフェデレーテッド環境において、教師更新を中央集権的に行う（サーバー EMA）か、クライントに分散して行う（クライント EMA）かのパフォーマンスのトレードオフは何か。
• RQ3 疑似ラベル生成における教師モデルと生徒モデルの間での動的切り替えは、高いデータ非IID性下でも汎化性能を向上させられるか。
• RQ4 FedMatch や FedProx-FixMatch といった最先端のFSSL手法と比較して、FedSwitchは正確性、収束安定性、データ不均衡への耐性においてどのように異なるか。
• RQ5 ローカル教師の適応が、フェデレーテッド半教師付き学習における疑似ラベル品質とモデルの汎化性能をどの程度向上させるか。

主な発見

• FedSwitchは、非IIDデータ設定下でCIFAR-10で最先端のテスト精度を達成し、FedProx-FixMatch、FedMatch、FedRGDを上回る。
• FedSwitchは、クライントデータの非IID性が高まるにつれて優れた耐性を示し、Dirichlet αパラメータを0.1にまで低下させても高いパフォーマンスを維持する。
• FedSwitchは、ベースライン手法と比較して滑らかな収束曲線と低いモデル分散を示し、より安定した学習ダイナミクスを示している。
• KL発散分析の結果、特に高非IID性下では、TS-Server EMA や TS-Client EMA よりも、FedSwitchが疑似ラベルの分布を真のクライントデータ分布に近づけていることが確認された。
• FedSwitchは、サーバーに送信するのは生徒モデルの重みのみであり、教師モデルの共有や中央集権的更新が不要なため、通信コストを最小限に抑えながら高いパフォーマンスを達成する。
• 動的切り替えメカニズムにより、システムは分布シフト下でも信頼性の高いモデル（教師または生徒）を適応的に使用して疑似ラベルを生成でき、ラベル品質が向上する。