[論文レビュー] FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis

Nan Yang, Dong Yuan+3 more|arXiv (Cornell University)|Feb 23, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

FedILは、分散型のラベルなしクライントデータと少量のラベル付きサーバーデータを用いた、プライバシー保護型の半教師ありフェデレーテッドインクリメンタルラーニングフレームワークを提案する。クライントで信頼性の高い仮ラベルを構築するためにインクリメンタル信頼性学習を採用し、正規化を施したコサイン類似度を用いてサーバーモデルに近いクライント重みを選択することで収束を加速し、バナッハ不動点定理に基づく理論的収束保証のもとでCIFAR-10で61.31%の精度を達成した。

ABSTRACT

Most existing federated learning methods assume that clients have fully labeled data to train on, while in reality, it is hard for the clients to get task-specific labels due to users' privacy concerns, high labeling costs, or lack of expertise. This work considers the server with a small labeled dataset and intends to use unlabeled data in multiple clients for semi-supervised learning. We propose a new framework with a generalized model, Federated Incremental Learning (FedIL), to address the problem of how to utilize labeled data in the server and unlabeled data in clients separately in the scenario of Federated Learning (FL). FedIL uses the Iterative Similarity Fusion to enforce the server-client consistency on the predictions of unlabeled data and uses incremental confidence to establish a credible pseudo-label set in each client. We show that FedIL will accelerate model convergence by Cosine Similarity with normalization, proved by Banach Fixed Point Theorem. The code is available at https://anonymous.4open.science/r/fedil.

研究の動機と目的

• プライバシー制約とラベル付けコストの制約により、クライントにラベルなしデータ、サーバーに限定されたラベル付きデータがある状況におけるフェデレーテッド半教師ありラーニングの課題に対処すること。
• サーバーのラベル付きデータに過剰に依存することで生じるモデルの過学習と、クライントでの誤った仮ラベルによる誤学習を回避すること。
• インクリメンタル信頼性学習による高信頼性の仮ラベルの選択を通じて、クライントでの信頼性の高い半教師あり学習プロセスを確立すること。
• コサイン類似度と正規化を用いてクライント重みをスクリーニングすることで、サーバー・クライントの一貫性を確保し、収束を加速すること。
• 重み差を収束基準として用いることで、仮ラベルに基づく学習における信頼性の低い損失ベースの指標に代わる、フェデレーテッド半教師ありラーニングの理論的収束解析を提供すること。

提案手法

• クライントの予測から高信頼性の仮ラベルを動的に選択するインクリメンタル信頼性学習を導入し、各クライントごとに信頼性の高い仮ラベル集合を形成する。
• 対照的学習を用いたシアンズネットワークを導入し、訓練中に特徴表現と仮ラベルの品質を向上させる。
• クライントの訓練中にKLダイバージェンス損失を適用してサーバーとクライントの一貫性を強制し、クライントの予測をサーバーのモデル出力と一致させる。
• 正規化を施したコサイン類似度を用いて、サーバーモデルに最も近いクライントモデル重みを選択し、効率的なグローバルアグリゲーションを実現する。
• 重み差を収束基準として用いるグローバルインクリメンタルラーニングフレームワークを提案し、仮ラベルベースの学習における信頼性の低い損失ベースの指標に代わる。
• 理論的収束はバナッハ不動点定理を用いて証明され、サーバーとクライント間の重み増分差が減少する際にモデル収束が発生することを示している。

実験結果

リサーチクエスチョン

• RQ1 クライントにラベルなしデータ、サーバーに少量のラベル付きデータしかない状況で、フェデレーテッド半教師ありラーニングをどのように効果的に行うことができるか？
• RQ2 真のラベルが存在しない状況で、誤学習を最小限に抑えるために、クライントでの信頼性の高い仮ラベル生成を保証するメカニズムは何か？
• RQ3 サーバーのラベル付きデータに過学習しないように、訓練中にサーバー・クライントの一貫性をどのように維持できるか？
• RQ4 仮ラベルによる影響で損失が信頼性を失う状況において、フェデレーテッド半教師ありラーニングに適切な収束基準は何か？
• RQ5 このようなフレームワークに対して理論的収束保証を確立できるか、その条件は何か？

主な発見

• FedILは、7回の連続ラベル付けステップとしきい値0.95を用いてCIFAR-10で61.31%の精度を達成し、ベースライン手法を上回った。
• アブレーションスタディの結果、仮ラベル集合を削除すると精度が28.59%に低下し、コサイン類似度機構を削除すると27.21%に低下するなど、これらの機構が極めて重要な役割を果たしていることが示された。
• 仮ラベル候補メカニズムと類似度スクリーニングの両方を組み合わせることで、ベースラインから30ポイント以上の精度向上が達成された。
• 1ラウンドあたりのローカル訓練エポック数の最適値は5であり、それ以上の値はノイズの多い仮ラベルに対する過学習により性能を低下させる。
• 連続ラベル付けステップ数（k）を増やすことで精度はk=8（62.03%）まで向上するが、効果の逓減と計算コストの増加を伴う。
• 理論的解析により、サーバーとクライント間の重み増分差が減少する際にモデル収束が発生することが確認され、バナッハ不動点定理のもとで有効な収束基準が提供された。