[論文レビュー] ELSA: Efficient LLM-Centric Split Aggregation for Privacy-Aware Hierarchical Federated Learning over the Network Edge

Xiaohong Yang, Tong Xie+6 more|arXiv (Cornell University)|Jan 20, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

ELSAは分割学習と階層型連邦学習を組み合わせた新規フレームワークを提案し、ネットワークの端末でのプライバシー配慮とリソース効率を実現したLLMの微調整を可能にします。クラスタリング、適応型モデル分割、軽量通信を導入し、分散性、プライバシー、効率性の制約に対応します。

ABSTRACT

Training large language models (LLMs) at the network edge faces fundamental challenges arising from device resource constraints, severe data heterogeneity, and heightened privacy risks. To address these challenges, we propose ELSA (Efficient LLM-centric Split Aggregation), a novel framework that systematically integrates split learning (SL) and hierarchical federated learning (HFL) for distributed LLM fine-tuning over resource-constrained edge networks. ELSA introduces three key innovations. First, it employs a task-agnostic, behavior-aware client clustering mechanism that constructs semantic fingerprints using public probe inputs and symmetric Kullback-Leibler (KL) divergence, augmented by prediction-consistency trust scoring and latency-aware edge assignment to jointly mitigate data heterogeneity, device unreliability, and communication constraints. Second, it employs a resource-aware dynamic model splitting strategy to adaptively partition the LLM into three segments across clients and edge servers, with the cloud used only for adapter aggregation, enabling an effective balance between on-device computation cost and global convergence stability. Third, it incorporates a lightweight communication scheme based on computational sketches combined with semantic subspace orthogonal perturbation (SS-OP) to reduce communication overhead while mitigating privacy leakage during model exchanges across the network. Extensive experiments across diverse NLP tasks demonstrate that ELSA consistently outperforms state-of-the-art baselines in terms of adaptability, convergence behavior, and robustness, establishing a scalable and privacy-aware solution for edge-side LLM fine-tuning under resource constraints.

研究の動機と目的

• エッジベースのLLM微調整におけるリソース制約、データの異質性、プライバシーリスクに対処する。
• 分割学習と階層型連邦学習を統合した統一フレームワークをエッジネットワークへ提案する。
• クライアントクラスタリング、適応的モデルパーティショニング、低オーバーヘッド通信のメカニズムを提供し、収束性とロバスト性を向上させる。
• 多様なNLPタスクにわたるスケーラビリティとプライバシー保護を実証する。

提案手法

• 公開のプローブ入力からのセマンティックフィンガープリントと対称KLダイバージェンスを用いたタスク非依存・挙動認識のクライアントクラスタリングを導入する。
• 異質性、信頼性欠如、通信制約を緩和するため、予測整合性トラストスコアリングと遅延感知エッジ割当を組み込む。
• LLMをクライアントとエッジサーバ間で3セグメントに分割するリソース認識型動的モデル分割戦略を適用し、クラウドはアダプター集約のみで使用。
• 計算スケッチと意味的部分空間直交摂動（SS-OP）を用いた軽量通信スキームを開発し、オーバーヘッドを削減し交換時のプライバシ leakageを緩和する。

実験結果

リサーチクエスチョン

• RQ1 リソースが限られたエッジデバイスは、プライバシーを維持しつつLLMを効果的に微調整できるか。
• RQ2 階層連邦と分割学習の組み合わせは、データの異質性とデバイスの信頼性欠如の下で収束性とロバスト性を改善できるか。
• RQ3 オンデバイス計算、エッジ集約、クラウド介入のバランスを最適化するクラスタリング、分割、通信技法は何か。
• RQ4 SS-OPベースの通信は、エッジベースのLLMトレーニングにおいて帯域幅を低減しつつプライバシーを維持できるか。

主な発見

• ELSAはさまざまなNLPタスクにおいて、適応性、収束挙動、ロバスト性の点で最先端ベースラインを一貫して上回る。
• フレームワークはオンデバイス計算コストとグローバル収束安定性の間で効果的なバランスを実現する。
• 提案されたクラスタリング、分割、通信戦略はデータの異質性、デバイス信頼性、通信制約を緩和する。