[논문 리뷰] ELSA: Efficient LLM-Centric Split Aggregation for Privacy-Aware Hierarchical Federated Learning over the Network Edge

Xiaohong Yang, Tong Xie외 6명|arXiv (Cornell University)|2026. 01. 20.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

ELSA는 네트워크 에지에서 프라이버시 인식적이고 자원 효율적인 LLM 미세 조정을 가능하게 하는 split learning과 계층형 연합 학습을 결합한 새로운 프레임워크를 제안한다. 이는 이질성, 프라이버시, 및 효율성 제약을 다루기 위해 클러스터링, 적응형 모델 분할, 그리고 경량 커뮤니케이션을 도입한다.

ABSTRACT

Training large language models (LLMs) at the network edge faces fundamental challenges arising from device resource constraints, severe data heterogeneity, and heightened privacy risks. To address these challenges, we propose ELSA (Efficient LLM-centric Split Aggregation), a novel framework that systematically integrates split learning (SL) and hierarchical federated learning (HFL) for distributed LLM fine-tuning over resource-constrained edge networks. ELSA introduces three key innovations. First, it employs a task-agnostic, behavior-aware client clustering mechanism that constructs semantic fingerprints using public probe inputs and symmetric Kullback-Leibler (KL) divergence, augmented by prediction-consistency trust scoring and latency-aware edge assignment to jointly mitigate data heterogeneity, device unreliability, and communication constraints. Second, it employs a resource-aware dynamic model splitting strategy to adaptively partition the LLM into three segments across clients and edge servers, with the cloud used only for adapter aggregation, enabling an effective balance between on-device computation cost and global convergence stability. Third, it incorporates a lightweight communication scheme based on computational sketches combined with semantic subspace orthogonal perturbation (SS-OP) to reduce communication overhead while mitigating privacy leakage during model exchanges across the network. Extensive experiments across diverse NLP tasks demonstrate that ELSA consistently outperforms state-of-the-art baselines in terms of adaptability, convergence behavior, and robustness, establishing a scalable and privacy-aware solution for edge-side LLM fine-tuning under resource constraints.

연구 동기 및 목표

• 엣지 기반 LLM 미세 조정에서 자원 제약, 데이터 이질성, 프라이버시 위험을 해결한다.
• 엣지 네트워크를 위한 split learning과 계층형 연합 학습을 통합하는 통합 프레임워크를 제안한다.
• 수렴성과 강건성을 향상시키기 위한 클라이언트 클러스터링, 적응형 모델 파티셔닝, 저오버헤드 커뮤니케이션의 메커니즘을 제공한다.
• 다양한 NLP 작업에서 확장성과 프라이버시 보장을 입증한다.

제안 방법

• 공개 프로브 입력의 의미 핑크타입에서 얻은 시맨틱 지문과 대칭 KL 발산을 사용하는 태스크 독립적이고 행동 인식적인 클라이언트를 클러스터링한다.
• 이질성, 신뢰성 부족, 통신 제약을 완화하기 위해 예측 일관성 신뢰 점수와 지연 인식 에지 배치를 도입한다.
• LLM을 세 개의 세그먼트로 클라이언트와 에지 서버 간에 분할하는 자원 인식 동적 모델 분할 전략을 적용하고, 클라우드는 어댑터 집계에만 사용한다.
• 오버헤드를 줄이고 교환 중 프라이버시 누출을 완화하기 위해 계산 스케치와 시맨틱 서브스페이스 직교 섭동(SS-OP)을 활용한 경량 커뮤니케이션 스킴을 개발한다.

실험 결과

연구 질문

• RQ1 제한된 자원을 가진 에지 디바이스가 프라이버시를 보장하면서 LLM을 효과적으로 미세 조정할 수 있는가?
• RQ2 계층형 연합과 분할 학습 접근법이 데이터 이질성과 디바이스 신뢰성 저하 하에서 수렴성과 강건성을 개선할 수 있는가?
• RQ3 온 디바이스 계산, 에지 집계, 클라우드 참여를 가장 잘 균형 잡는 클러스터링, 분할 및 커뮤니케이션 기술은 무엇인가?
• RQ4 SS-OP 기반 커뮤니케이션이 에지 기반 LLM 학습에서 대역폭을 낮추면서 프라이버시를 유지하는가?

주요 결과

• ELSA는 다양한 NLP 작업에서 적응성, 수렴 동작, 강건성 측면에서 최첨단 Baselines를 지속적으로 능가한다.
• 프레임워크가 온 디바이스 계산 비용과 글로벌 수렴 안정성 사이의 효과적인 균형을 가능하게 한다.
• 제안된 클러스터링, 분할, 및 커뮤니케이션 전략은 데이터 이질성, 디바이스 신뢰성 저하, 및 통신 제약을 완화한다.