[論文レビュー] Fed-ADE: Adaptive Learning Rate for Federated Post-adaptation under Distribution Shift

Heewon Park, Mugon Joe+3 more|arXiv (Cornell University)|Mar 1, 2026

Data Stream Mining Techniques被引用数 0

ひとこと要約

Fed-ADE は、分布シフト下でのフェデレーテッド後適応を、各クライアントごとの適応的学習率フレームワークとして監督なしで提案し、不確実性と表現ダイナミクスシグナルを組み合わせることで、理論的保証とベースラインに対する実証的優位性を示す。

ABSTRACT

Federated learning (FL) in post-deployment settings must adapt to non-stationary data streams across heterogeneous clients without access to ground-truth labels. A major challenge is learning rate selection under client-specific, time-varying distribution shifts, where fixed learning rates often lead to underfitting or divergence. We propose Fed-ADE (Federated Adaptation with Distribution Shift Estimation), an unsupervised federated adaptation framework that leverages lightweight estimators of distribution dynamics. Specifically, Fed-ADE employs uncertainty dynamics estimation to capture changes in predictive uncertainty and representation dynamics estimation to detect covariate-level feature drift, combining them into a per-client, per-timestep adaptive learning rate. We provide theoretical analyses showing that our dynamics estimation approximates the underlying distribution shift and yields dynamic regret and convergence guarantees. Experiments on image and text benchmarks under diverse distribution shifts (label and covariate) demonstrate consistent improvements over strong baselines. These results highlight that distribution shift-aware adaptation enables effective and robust federated post-adaptation under real-world non-stationarity.

研究の動機と目的

• 非定常でクライアント固有の分布シフトの下で、 ground-truth ラベルなしで頑健なフェデレーテッド後デプロイ適応を動機づける。
• 各クライアントごと、タイムステップごとに適応的学習率を割り当てる、軽量で監督なしの適応フレームワークを提案する。
• 分布シフトを定量化する2つの推定量（不確実性ダイナミクスと表現ダイナミクス）を開発する。
• 非定常性の下で動的 regret と収束性に関する理論的保証を提供する。
• ラベルおよび共変化シフト下で、画像・テキストのベンチマークで実証的に検証し、ベースラインより改善を示す。

提案手法

• 各クライアントモデルを共有部（psi_c）とパーソナライズド部（phi_c）に分割し、部分共有と個別化を図る。
• BBSE を用いてラベルなしで現在のラベル分布を推定し、この推定リスクを最小化する監督なしリスク推定量を構築する（式（4））。
• 不確実性ダイナミクス S_unc^t（バッチ予測平均のコサイン変化）と表現ダイナミクス S_rep^t（バッチ特徴平均のコサイン変化）を組み合わせて、各ラウンド・各クライアントの分布シフト信号 S_c^t を計算する。
• eta_c^t = eta_min + (eta_max - eta_min) * S_c^t（式9）によって学習率を境界付きで適応させる。
• 推定リスクに基づく SGD を用いて局所更新を行い、最初に共有部とパーソナライズ部の両方を更新し、その後サーバ側で共有部を集約してクライアント間で更新を反映させる（式6-8）。
• 動的 regret の分析を提供し、累積シフトに比例して境界を持ち、非定常性の下で最小-最大最適性を達成する。

Figure 1 : Overview of the Fed-ADE. Each client receives a pre-trained model, splits it into shared ( $\psi_{c}$ ) and personalized ( $\phi_{c}$ ) layers, and adapts to unlabeled, distribution-shifting data using an adaptive learning rate.

実験結果

リサーチクエスチョン

• RQ1 非ラベルデータ下で、フェデレーテッド後適応における学習率をクライアント毎・タイムステップ毎に適応させるにはどうすればよいか。
• RQ2 不確実性と表現ダイナミクスの信号は分布シフトを正確に捉え、適応的学習率を導く指標となるか。
• RQ3 ラベル付き・共変化シフト下で、固定学習率や非適応的なフェデレーション手法よりも、クライアント別適応学習率が精度と効率を改善するか。
• RQ4 この無監督・シフト認識 FL 設定に対して、動的 regret と収束性の理論保証を確立できるか。
• RQ5 提案する推定量と適応戦略は、画像・テキストの多様なシフトパターンにわたって一般化可能か。

主な発見

Dataset	Shift	FTH	ATLAS	UNIDA	UDA	Fed-POE	FedCCFA	FixLR(Low)	FixLR(Mid)	FixLR(High)	Fed-ADE
Tiny ImageNet	Lin.	78.2 ± 1.0	76.5 ± 1.3	83.8 ± 0.1	74.5 ± 0.2	87.1 ± 0.2	84.7 ± 0.8	87.5 ± 1.2	88.2 ± 1.1	86.1 ± 0.4	89.1 ± 0.1
Tiny ImageNet	Sin.	77.9 ± 0.8	76.8 ± 1.1	83.2 ± 0.5	74.5 ± 0.2	87.5 ± 0.4	84.8 ± 0.7	87.3 ± 1.4	88.0 ± 1.1	87.6 ± 0.6	88.9 ± 0.1
Tiny ImageNet	Squ.	77.2 ± 0.8	78.5 ± 1.4	83.3 ± 0.1	74.7 ± 0.3	86.4 ± 0.9	83.0 ± 0.9	87.4 ± 1.2	88.2 ± 0.7	86.4 ± 0.5	88.9 ± 0.1
Tiny ImageNet	Ber.	78.2 ± 1.1	77.6 ± 1.1	82.7 ± 0.3	73.8 ± 0.8	86.5 ± 0.7	83.8 ± 0.9	86.5 ± 1.7	87.8 ± 1.2	86.3 ± 0.6	88.7 ± 0.1
CIFAR-10	Lin.	31.4 ± 0.8	36.5 ± 4.3	23.0 ± 0.3	33.3 ± 1.4	71.3 ± 3.2	65.8 ± 0.5	70.6 ± 2.0	70.8 ± 2.1	63.8 ± 1.9	73.8 ± 0.6
CIFAR-10	Sin.	40.3 ± 0.9	43.7 ± 5.1	22.9 ± 0.3	32.0 ± 1.3	71.4 ± 2.6	65.8 ± 0.8	69.4 ± 1.5	70.5 ± 1.6	64.3 ± 2.2	73.6 ± 0.5
CIFAR-10	Squ.	31.7 ± 0.7	32.3 ± 5.0	23.1 ± 0.1	28.1 ± 1.4	70.6 ± 1.9	65.3 ± 0.3	72.8 ± 2.1	71.6 ± 2.0	70.6 ± 2.5	72.2 ± 1.6
CIFAR-10	Ber.	30.6 ± 0.9	32.7 ± 5.9	23.0 ± 0.1	28.5 ± 1.5	69.6 ± 1.5	65.4 ± 0.4	68.3 ± 1.7	71.8 ± 1.6	70.0 ± 2.2	72.9 ± 2.2
LAMA	Lin.	68.3 ± 1.2	79.5 ± 3.2	31.2 ± 0.8	72.9 ± 2.0	85.4 ± 1.3	95.6 ± 0.1	86.7 ± 1.2	95.2 ± 2.0	24.6 ± 3.3	95.8 ± 0.4
LAMA	Sin.	74.7 ± 3.1	71.8 ± 5.0	31.1 ± 0.6	70.6 ± 6.8	84.0 ± 1.6	91.6 ± 0.9	88.0 ± 0.8	94.7 ± 2.4	26.9 ± 4.1	95.8 ± 0.6
LAMA	Squ.	70.5 ± 6.5	79.8 ± 0.9	31.2 ± 0.5	74.4 ± 0.2	84.2 ± 1.0	92.0 ± 0.1	88.6 ± 0.2	95.4 ± 1.2	26.9 ± 5.3	96.4 ± 0.6
LAMA	Ber.	76.8 ± 0.2	78.0 ± 5.8	31.1 ± 0.5	70.9 ± 6.5	84.1 ± 0.6	91.1 ± 0.5	87.9 ± 0.3	94.3 ± 2.4	20.0 ± 4.7	95.9 ± 0.5

• Fed-ADE はすべてのシフトタイプとデータセットで最高精度を達成し、強力なベースラインに対して優位を示す。
• Fed-ADE は実行時間を大幅に低減し、局所化手法の約17–24倍、いくつかのフェデレート基準より約2倍速い。
• ラベルシフト下で、Fed-ADE は FixLR と Fed-POE に対して安定した精度向上を示し、データセットに応じて平均約1%–4%の改善。
• 共変化シフト下で、Fed-ADE は FixLR および Fed-POE よりおおよそ3%および6%超の優位を示す。
• 画像ベンチマーク Tiny ImageNet と CIFAR-10 およびテキストベンチマーク LAMA では、動的・無ラベル設定において一貫して最先端ベースラインを上回る。